hadoop hive hbase 生态系统整合

hadoop hive hbase 生态系统整合

1 hive hbase 整合需要hive_hbase-handler.jar，目前的整合对版本搭配很敏感。
而我所使用的是 hadoop-0.20.2 + hive-0.6.0 + hbase-0.20.3

2 download hbase-0.20.3
tar hbase-0.20.3

3 config hbase-0.20.3
hbase-site.xml
<property>
<name>hbase.rootdir</name>
<value>hdfs://hostname:9090/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/data/hbas/zookeeper/property/dataDir</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>hostname</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2222</value>
</property>
<property>
<name>hbase.regionserver.lease.period</name>
<value>180000</value>
</property>

regionservers
略

hbase-env.sh
略

为了确保版本一直把hbase-0.20.3.jar 以及zookeeper.3.2.2.jar 覆盖 到 hive/lib/ 下

4 config hive
在hive-site.xml 追加 如下配置：
<property>
<name>hive.aux.jars.path</name>
<value>file:///usr/local/hive/lib/hive_hbase-handler.jar,file:///usr/local/hive/lib/hbase-0.20.3.jar,file:///usr/local/hive/lib/zookeeper-3.2.2.jar</value>
</property>


5 config hadoop
在hadoop-site.xml 追加如下配置：
<property>
<name>dfs.datanode.max.xcievers</name>
<value>4906</value>
</property>

6 把 hbase-site.xml cp 到 hive/conf hadoop/conf 下

7 为确保hbase与hadoop 配置一样，应该要把hadoop-site.xml cp到 hbase/conf/下

bin/hive -hiveconf hbase.zookeeper.quorum=hostname
启动