笔者使用的是0.99.2这个版本的hbase.
第一步 : 拷贝hbase的jar包到hive
需要hbase下面的jar包到hive的lib目录下
hbase-client-0.99.2.jar
hbase-common-0.99.2.jar
hbase-server-0.99.2.jar
hbase-common-0.99.2-tests.jar
hbase-protocol-0.99.2.jar
htrace-core-3.0.4.jar
第二步:修改配置文件
修改hive-site.xml配置文件
将上述jar包添加到hive-site.xml配置的hive.aux.jars.path属性中。
<property>
<name>hive.aux.jars.path</name>
<value>file:///home/hadoop/apps/hive/lib/hive-hbase-handler-1.2.1.jar,file:///home/hadoop/apps/hive/lib/zookeeper-3.4.6.jar,file:///home/hadoop/apps/hive/lib/hbase-client-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-server-0.99.2.jar,file:///home/hadoop/apps/hive/lib/hbase-common-0.99.2-tests.jar,file:///home/hadoop/apps/hive/lib/hbase-protocol-0.99.2.jar,file:///home/hadoop/apps/hive/lib/htrace-core-3.0.4.jar</value>
</property>
修改hive.zookeeper.quorum属性
添加hbase.zookeeper.quorum属性,此属性hive-site.xml之前不存在。
添加自己的zookeeper节点
笔者是单机版本的,没有写这个属性,也没有报错。
hive-env.sh配置文件
复制一份hive-env.sh.template 改名为hive-env.sh
修改hive-env.sh配置文件
export HADOOP_HOME=/home/hadoop/apps/hadoop-2.6.4
export HBASE_HOME=/home/hadoop/apps/hbase
启动hive之前,先启动hadoop,跟hbase,
然后启动hive
bin/hive
bin/start-hbase
bin/hbase shell
进入hive:
随便使用一个库,建议不要使用default这个库,测试下面的这条语句看一下能否正常执行:
create table hive_hbase_test(key int,value string) stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties("hbase.columns.mapping"=":key,cf1:val") tblproperties("hbase.table.name"="hive_hbase_test");
如果执行没有报错,能正常创建这张表,并且进去到hbase里面:
这张表也创建成功,那么Hive跟HBase的整合就成功了。
但是根本不是这样,期间会报错:
FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. org.apache.hadoop.hbase.HTableDescriptor.addFamily(Lorg/apache/hadoop/hbase/HColumnDescriptor;)V
这种错就是由于Hive跟HBase的版本不兼容的错。
可以看下面这篇博客,博主如何做的,我照着错,能解决兼容问题:
https://www.cppentry.com/bencandy.php?fid=117&id=181504
我已经编译好了一份,可以直接使用:
https://pan.baidu.com/s/1Heil1vchKIazRCGSagZvCQ
笔者参考的博客:
https://blog.csdn.net/dajiangtai007/article/details/79696853
https://blog.csdn.net/ddxygq/article/details/81709877
https://www.cnblogs.com/zlslch/p/8228781.html