hive和hbase集成

1. 检查$HIVE_HOME/lib下有无如下jar包：

guava-14.0.1.jar
,zookeeper.jar
,hive-hbase-handler.jar
,hbase-common.jar
,hbase-server.jar
,hbase-client.jar
,htrace-core.jar
,hbase-protocol.jar

2. 如果缺少，则在$HBASE_HOME/lib中将它们cp过来

3. 配置hive-site.xml

加上如下参数：

<property>
<name>hive.aux.jars.path</name>
<value>/usr/lib/hive/lib/guava-14.0.1.jar,/usr/lib/hive/lib/zookeeper.jar,/usr/lib/hive/lib/hive-hbase-handler.jar,/usr/lib/hive/lib/hbase-common.jar,/usr/lib/hive/lib/hbase-server.jar,/usr/lib/hive/lib/hbase-client.jar,/usr/lib/hive/lib/htrace-core.jar,/usr/lib/hive/lib/hbase-protocol.jar</value>
</property>

在 hive-site.xml 配置文件中增加这个参数 ，不让手工修改的原因是，hive服务重启后，手工修改的配置会被冲掉。

4.  将hbase/conf下的hbase-site.xml文件复制到所有hadoop节点的hadoop/conf下

5. 重启元数据服务器：

service hive-metastore restart

6. 根据hbase的表创建hive的外部表

hbase中查看

hbase(main):004:0> scan 't1'
ROW                                              COLUMN+CELL                                                                                                                                   
 rowkey001                                       column=f1:col1, timestamp=1491029052186, value=value01                                                                                        
1 row(s) in 0.0850 seconds

hive中创建外部表且查询

hive> CREATE EXTERNAL TABLE if not exists t1(
    >          Rowkey  string,
    >          f1  string
    >   )
    >  STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' 
    >  WITH SERDEPROPERTIES('hbase.columns.mapping' = ':key,f1:col1')
    >  TBLPROPERTIES('hbase.table.name' = 't1');
OK
Time taken: 1.443 seconds
hive> select * from t1;
OK
rowkey001 value01
Time taken: 0.677 seconds, Fetched: 1 row(s)