CDH5.x集群Hive1.x与Hive2.x并存使用

CDH5.x集群Hive1.x与Hive2.x并存使用

文章参考了腾讯云的"如何在CDH集群中安装Hive2.3.3"
https://cloud.tencent.com/developer/article/1158296
并在他的基础上补充了很多细节操作,同时也会跟大家普及Hive1和Hive2共用元数据的方法,这样就可以免去重新抽取数据的痛苦,在搭建完Hive2之后直接可以使用原hive1的所有数据.

1.Hive2.3.7解压安装至服务节点

tar -zxvf apache-hive-2.3.7-bin.tar.gz
解压后移动到 /opt/cloudera/目录下,文件名改为hive-2.3.7

2.hive2metastore在mysql建库及配置用户和访问权限

将Mysql作为Hive2的元数据库,因为如果用自带的dbType数据库,不支持并行.执行语句如下

CREATE DATABASE hive2metastore DEFAULT CHARACTER SET UTF8;
CREATE USER 'hive2'@'%' IDENTIFIED BY '密码';
GRANT ALL PRIVILEGES ON hive2metastore.* TO 'hive2'@'%';
FLUSH PRIVILEGES;

3.制作配置文件:

hive-env.sh
hive-default.xml
hive-log4j2.properties
hive-exec-log4j2.properties

安装包本身自带的配置文件改名成正式文件:

cp hive-env.sh.template hive-env.sh
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
其中hive-env.sh添加环境变量:
export JAVA_HOME=/usr/java/jdk1.8.0_162 (你自己安装的jdk路径)
export HIVE2_HOME=/opt/cloudera/hive-2.3.7 
export HIVE2_CONF_DIR=/opt/cloudera/hive2.3.7/conf

4.添加Hadoop配置文件

在/opt/cloudera/hive2.3.7/conf目录下执行

ln -s /etc/hadoop/conf.cloudera.yarn/ yarn-conf

5.修改hive-site.xml文件(主要修改以下属性):

<name>hive.metastore.uris</name>

javax.jdo.option.ConnectionDriverName
javax.jdo.option.ConnectionURL
javax.jdo.option.ConnectionUserName
javax.jdo.option.ConnectionPassword
hive.exec.scratchdir
hive.metastore.warehouse.dir
hive.repl.rootdir
hive.repl.cmrootdir

参考样例:

Hive2的metastore地址:
<name>hive.metastore.uris</name>
    <value>thrift://192.168.5.x:9083</value>
数据库连接属性
数据库连接用户名:
<name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
数据库连接密码:
<name>javax.jdo.option.ConnectionPassword</name>
    <value>密码</value>
连接地址,数据库,属性:
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.5.x:3306/hive2metastore?useUnicode=true&amp;characterEncoding=UTF-8;useSSL=flase</value>
连接驱动:
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
HDFS存储路径:
    <name>hive.exec.scratchdir</name>
    <value>/tmp/hive2</value>
Hive2的表的默认位置:
    <name>hive.metastore.warehouse.dir</name>
    <value>/user/hive2/warehouse</value>
映射位置:
    <name>hive.repl.rootdir</name>
    <value>/user/hive2/repl/</value>
cm的映射位置:
    <name>hive.repl.cmrootdir</name>
    <value>/user/hive2/cmroot/</value>

6.在Hive2中配置mysql的JDBC连接驱动

将usr/share/java/mysql-connector.jar复制到Hive2的lib目录下
如果没有这个jar包,需要对应你当前安装的mysql版本去下载,然后放到lib目录

7.创建Hive2的tmp目录并提升权限

mkdir -p /opt/cloudera/hive-2.3.7/tmp/
chmod 777 /opt/cloudera/hive-2.3.7/tmp/

8.将hive-site.xml文件修改

{system:java.io.tmpdir} 改成 /opt/cloudera/hive-2.3.7/tmp/
把{system:user.name} 改成 {user.name}

样例:一共四处:

<name>hive.exec.local.scratchdir</name>
    <value>/opt/cloudera/hive-2.3.7/tmp/${user.name}</value>
<name>hive.downloaded.resources.dir</name>
    <value>/opt/cloudera/hive-2.3.7/tmp/${hive.session.id}_resources</value>
    <name>hive.querylog.location</name>
    <value>/opt/cloudera/hive-2.3.7/tmp/${user.name}</value>
<name>hive.server2.logging.operation.log.location</name>
    <value>/opt/cloudera/hive-2.3.7/tmp/${user.name}/operation_logs</value>

9.HDFS上创建hive2的warehouse目录，与配置hive-site.xml配置文件中hive.metastore.warehouse.dir一致

执行命令:
sudo -u hdfs hadoop fs -mkdir -p /user/hive2/warehouse
sudo -u hdfs hadoop fs -chown -R hive:hive /user/hive2
sudo -u hdfs hadoop fs -ls /user/hive2

10.使用/bin目录下的schematool初始化hive2metastore

在Hive2的bin目录下执行
./schematool -dbType mysql -initSchema hive2

注意:如果Hive2的元数据库跟Hive1的元数据库使用同一个Mysql,会有报错的情况出现,避免这个问题,直接安装另一个Mysql作为Hive2的元数据库即可.
而且初始化失败也有原因是hive-site.xml的配置问题,因为配置的语句复杂度相对较高,在javax.jdo.option.ConnectionURL,因为配置的属性太多,使用”;”时要添加转义字符&apm(xml文件采用的是html的编译规则),否则不能生效且报错.正确配置为:
jdbc:mysql://192.168.5.x:3306/hive2metastore?useSSL=flase&characterEncoding=UTF-8)

11.启动Hive2的matestore和hive2的hiveserver2服务并记录日志

nohup ./hive --service metastore >hive-metastore.log 2>&1 &
nohup ./hive --service hiveserver2 >hive-server2.log 2>&1 &

为了避免与原hive1冲突,推荐是部署到不同的机器上,如果真要部署在同一台机器上,必须改端口号.

12.CLI方式启动hive2的引擎

在Hive2的bin目录下执行
sudo -u hive ./hive

方案B Hive2复用Hive1元数据

在上述操作的基础上,修改配置文件.

备份Hive1在Mysql当中的元数据库:
mysqldump -uroot -p hive > metastore_backup.sql
修改Hive2的配置文件hive-site.xml:
   <name>javax.jdo.option.ConnectionURL</name>
   (把Hive2的Mysql元数据库直接指向Hive1的元数据库)
<value>jdbc:mysql://192.168.5.x:3306/hive?useUnicode=true&amp;useSSL=false&amp;characterEncoding=UTF-8</value>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>*</value>
    <name>hive.metastore.warehouse.dir</name>
    把Hive2的warehouse也直接指向Hive1的warehouse
    <value>/user/hive/warehouse</value>
登陆mysql数据库,进入hive数据库,进入Hive2.3.7/metastore/scripts/upgrade/mysql/目录,执行该目录下的这5个升级元数据的脚本:
source /tmp/mysql/upgrade-1.1.0-to-1.2.0.mysql.sql
source /tmp/mysql/upgrade-1.2.0-to-2.0.0.mysql.sql
source /tmp/mysql/upgrade-2.0.0-to-2.1.0.mysql.sql
source /tmp/mysql/upgrade-2.1.0-to-2.2.0.mysql.sql
source /tmp/mysql/upgrade-2.2.0-to-2.3.0.mysql.sql

然后重启Hive2的服务.

这样,Hive2就能够直接复用Hive1的所有数据.

报错解决

Hive2的JDBC连接方式报错解决
User: root is not allowed to impersonate hive.
关闭Hive2当中的HiveServer2连接配置调用操作,
hive-site.xml下,修改如下配置:

  <property>
    <name>hive.server2.enable.doAs</name>
    <value>false</value>
    <description>
      Setting this property to true will have HiveServer2 execute
      Hive operations as the user making the calls to it.
    </description>
  </property>

Hive2.3与CDH原来的Hbase兼容使用
这种情况是Hive创建过Hbase的外表,Hive2需要对原Hive1创建的外表进行操作的时候要添加的.
修改Hive2的配置文件hive-site.xml,添加Hbase.zookeeper的指向:

<property>
    <name>hbase.zookeeper.quorum</name>
    <value>安装过zookeeper的主机名</value>
  </property>
  <property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
  </property>