hive和hbase结合

Hive提供了与HBase的集成,使得能够在HBase表上使用HQL语句进行查询 插入操作以及进行Join和Union等复杂查询

Hive和HBase集成的配置

1 将hbase 相关jar包拷贝到hive lib目录下

hive-2.3.3/lib/hbase-server-1.1.1.jar,hive-2.3.3/lib/hbase-client-1.1.1.jar,hive-2.3.3/lib/hive-hbase-handler-2.2.0.jar,hive-2.3.3/lib/zookeeper-3.4.6.jar

2 修改hive的主配置文件conf/hive-site.xml

  A: 修改hive.aux.jars.path属性,为属性添加hive和hbase集成所需要jar文件,注意必须通过file://指定本地文件,否则将会在hdfs上的路径中查询

 <property>
    <name>hive.aux.jars.path</name>
    <value>file:///home/hadoop/hive-2.3.3/lib/hbase-server-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/h
base-client-1.1.1.jar,file:///home/hadoop/hive-2.3.3/lib/hive-hbase-handler-2.2.0.jar,file:///home/hadoop
/hive-2.3.3/lib/zookeeper-3.4.6.jar</value>

</property>

B: 修改hive.zookeeper.quorum属性, 当hive和hbase集成时使用zookeeper调控服务

 <property>
    <name>hive.zookeeper.quorum</name>
    <value>ping1,ping2,ping4</value>

 </property>

 C:添加hbase.zookeeper.quorum属性,当前集成的hbase是集群,hive在集成该hbase集群需要通过zookeeper调控服务

 <property>
    <name>hbase.zookeeper.quorum</name>
    <value>ping1,ping2,ping4</value>
</property>

 D: 修改hive环境配置hive-env.sh

  添加  export  HADOOP_HOME=/home/hadoop/hadoop-2.9.0

          export HBASE_HOME=/home/hadoop/hbase-1.2.6

         export HIVE_CONF_DIR=/home/hadoop/hive-2.3.3/conf

       # export HIVE_AUX_JARS_PATH=?

实验一 : 在hive创建hbase对应的临时表,通过向hive中的临时表插入文件,完成操作hbase对应表的数据

第一步:启动hive客户端

    $> hive

进入hiv

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值