Hive的安装和部署

分分钟搞定!

  1. https://mirrors.bfsu.edu.cn/apache/ 进入apach全家桶镜像,找到hive

  2. Hadoop 3.x版本的话,Hive 也下载3.x版本

  3. Hive相当于一个客户端工具,放到任意一个节点上都可。

  4. 上传到服务器 、解压

  5. 进入hive目录

  6. cd conf

  7. 修改 hive-env.sh.template 名称 为 hive-env.sh :mv即可

  8. vi hive-env.sh 直接在最后一行 加入各种环境变量即可,按自己安装的位置来

export JAVA_HOME=/data/soft/jdk1.8
export HIVE_HOME=/data/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/data/soft/hadoop-3.2.3
  1. 修改 hive-default.xml.template 为 hive-site.xml ,然后进入 vi hive-site.xml

    1. 修改javax.jdo.option.ConnectionURL

      1. value修改为jdbc:mysql://ip:port/hive?serverTimeZone=Asia/Shanghai
      2. 自己搭建在本地的话就localhost:3306
    2. 修改javax.jdo.option.ConnectionDriverName

      1. value 修改为 com.mysql.cj.jdbc.Driver
    3. 修改javax.jdo.option.ConnectionUserName

      1. value 修改为 数据库 账号
    4. 修改javax.jdo.option.ConnectionPassword

      1. value修改为数据密码
    5. 修改 hive.querylog.location

      1. value改为 /data/hive_repo/querylog :都是自己定义的地址
    6. 修改hive.exec.local.scratchdir

      1. value改为 /data/hive_repo/scratchdir
    7. 修改 hive.downloaded.resources.dir

      1. /data/hive_repo/resources
  2. mysql的驱动包mysql-connector-java.8.0.16.jar 得放入 hive lib目录下

    https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-8.0.16.zip //一般向下兼容

  3. 进入hadoop目录,修改hadoop集群配置 /etc/hadoop/core-site.xml

    1. 加2个property

    2. <property>
          <name>hadoop.proxyuser.root.hosts</name>
          <value>*</value>
      </property>
      <propery>
      	<name>hadoop.proxyuser.root.groups</name>
          <value>*</value>
      </propery>
      
    3. 注意同步到集群所有节点 (客户端节点就不需要,hive可以安装在客户端)

    4. 重启集群

  4. 创建数据库 hive表

  5. hive bin/schematool -dbType mysql initSchema 初始化mysql数据库中的表。 (手敲,有bug,得手敲,复制不行)

  6. hive就是个客户端直接使用,不需要创建任何进程。

  7. 踩坑报错

  8. 然后code0x8 错误 ,把报错的那一行注释掉 :set nu 出现行标 :xx跳到指定行

  9. 再次手敲启动命令 初始化成功。

表的元数据信息 是存在mysql里的, 真正的数据是在hdfs里面的。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值