hive整合hbase

为什么80%的码农都做不了架构师？>>>   

hive整合可能有很多版本不一样，但是hive的版本一定要能支持整合hbase，hive-0.6.0以前的版本不支持，之后的版本才支持整合hbase。

1.hive和hbase都独立安装成功，都能正常运行。

2.hadoop1.x查看hive/lib下有没有包hbase-0.90.5.jar和zookeeper-3.3.2.jar，没有的话则从hbase的lib包下拷贝过去，如果版本不一样，则替换成hbase下的版本。

hadoop2.x查看hive/lib下有没有包hbase-client-0.98.1-cdh5.1.0.jar，hbase-common-0.98.1-cdh5.1.0.jar，hive-hbase-handler-0.12.0-cdh5.1.0.jar，zookeeper-3.4.5-cdh5.1.0.jar，hbase-server-0.98.1-cdh5.1.0.jar，hbase-common-0.98.0-hadoop2-tests.jar，hbase-protocol-0.98.0-hadoop2.jar，htrace-core-2.04.jar等包，没有的话则从hbase的lib包下拷贝过去。

注意第三步添加路径时需添加第二步所有的jar包！！

3.查看hive/conf/hive-site.xml有没有配hive.aux.jars.path属性，添加包以第二步的包为准，值应该类似如下，你也可以去hive-env.sh中的HIVE.AUX.JARS.PATH里配置：

<property>  
  <name>hive.aux.jars.path</name>   
  <value>file:///usr/local/hive/lib/hive-hbase-handler-0.8.0.jar,file:///usr/local/hive/lib/hbase-0.90.5.jar,file:///usr/local/hive/lib/zookeeper-3.3.2.jar,file:///usr/local/hive/lib/hbase-server-0.98.1-cdh5.1.0.jar,file:///usr/local/hive/lib/hbase-common-0.98.1-cdh5.1.0-tests.jar,file:///usr/local/hive/lib/hbase-protocol-0.98.1-cdh5.1.0.jar,file:///usr/local/hive/lib/htrace-core-2.04.jar</value>
</property>

如果在执行hql的task时提示类不存在，则应该在此属性中加上对应的包，具体参考当hive和hbase整合之后，执行hql，提示找不到类。 hive引入jar包--HIVE.AUX.JARS.PATH和hive.aux.jars.path

如果在hive-site.xml中没有配置路径，则可以在启动hive时，设置路径：hive --auxpath /usr/local/hive/lib/hive-hbase-handler-0.8.0.jar, /usr/local/hive/lib/hbase-0.90.5.jar, /usr/local/hive/lib/zookeeper-3.3.2.jar。

4.配置hive.zookeeper.quorum和hive.zookeeper.quorum，内容为hbase的zookeeper。

<property>
  <name>hive.zookeeper.quorum</name>
  <value>node1,node2,node3</value>
  <description>The list of zookeeper servers to talk to. This is only needed for read/write locks.</description>
</property>

<property>
  <name>hbase.zookeeper.quorum</name>
  <value>node1,node2,node3</value>
  <description>The list of zookeeper servers to talk to. This is only needed for read/write locks.</description>
</property>

hbase.zookeeper.quorum属性在hive-site.xml中没有，需加上，如果这里不配置，那么联合hbase启动时，需要加上 --hiveconf hbase.master=master:60000，才能联合hbase成功。

这里不需要指定zookeeper的端口，因为hive-site.xml还有一个属性hive.zookeeper.client.port来专门指定zookeeper的端口。

5.进入hive shell，运行命令：hive。hive和hbase整合步骤即完成了。也可以使用命令：hive --hiveconf hbase.master=master:60000，但是hbase.zookeeper.quorum已经配置了hbase部分内容，所以可以不加 --hiveconf hbase.master=master:60000，他们都是用来确定hbase master的。

6.测试，在hive cli中运行如下命令建表，再到hbase中查看xyz表是否已经存在，存在则整合成功。

CREATE TABLE hbase_table_1(key int, value string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:val") TBLPROPERTIES ("hbase.table.name" = "xyz");

hbase.table.name 定义在hbase的table名称 ，hbase.columns.mapping 定义在hbase的列族。

参考：

Hadoop Hive与Hbase关系 整合

Hive HBase Integration

转载于:https://my.oschina.net/cjun/blog/483298