Hive与HBase整合过程

整合后的使用场景：

• 通过Hive把数据加载到HBase中，数据源可以是文件也可以是Hive中的表。
• 通过整合，让HBase支持JOIN、GROUP等SQL查询语法。
• 通过整合，不仅可完成HBase的数据实时查询，也可以使用Hive查询HBase中的数据完成复杂的数据分析。

Hive和HBase整合的实现是利用两者本身对外的API接口互相通信完成的，其具体工作是交由Hive的lib目录下的hive-hbase-handler-*.jar来实现。

整合过程

• 首先在hive-site.xml文件中添加

  #不需要写端口号，zookeeper集群
  <property>
      <name>hbase.zookeeper.quorum</name>   
  	<value>bigdata-pro01.bigDAta.com,bigdata-pro02.bigDAta.com,bigdata-pro03.bigDAta.com</value>
    </property>
  

• 将 HBase中的部分jar包拷贝到Hive中,如果两者都是CDH版本，就不需要进行拷贝；若hive安装时自带了以下jar包，必须将其删除。

  export HBASE_HOME=/opt/modules/hbase-1.0.0-cdh5.4.0
  export HIVE_HOME=/opt/modules/hive-2.1.0
  
  ln -s $HBASE_HOME/lib/hbase-server-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-server-1.0.0-cdh5.4.0.jar
  
  ln -s $HBASE_HOME/lib/hbase-client-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-client-1.0.0-cdh5.4.0.jar
  
  ln -s $HBASE_HOME/lib/hbase-protocol-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-protocol-1.0.0-cdh5.4.0.jar 
  
  ln -s $HBASE_HOME/lib/hbase-it-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-it-1.0.0-cdh5.4.0.jar 
  
  ln -s $HBASE_HOME/lib/htrace-core-3.0.4.jar $HIVE_HOME/lib/htrace-core-3.0.4.jar
  
  ln -s $HBASE_HOME/lib/hbase-hadoop2-compat-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-hadoop2-compat-1.0.0-cdh5.4.0.jar 
  
  ln -s $HBASE_HOME/lib/hbase-hadoop-compat-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-hadoop-compat-1.0.0-cdh5.4.0.jar
  
  ln -s $HBASE_HOME/lib/high-scale-lib-1.1.1.jar $HIVE_HOME/lib/high-scale-lib-1.1.1.jar 
  
  ln -s $HBASE_HOME/lib/hbase-common-1.0.0-cdh5.4.0.jar $HIVE_HOME/lib/hbase-common-1.0.0-cdh5.4.0.jar
  

  与hbase集成过程中，若lib目录下的相关jar未更换，在Hive创建外部表与HBase进行关联时，会出现regionserver挂掉了，以及报以下错误：

  FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. MetaException(message:org.apache.hadoop.hbase.client.RetriesExhaustedException: Failed after attempts=36, exceptions:
  Tue Apr 14 12:35:30 EDT 2020, null, java.net.SocketTimeoutException: callTimeout=60000, callDuration=68408: row 'weblogs,,' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=bigdata-pro03.bigDAta.com,60020,1586881704857, seqNum=0
  	------------
  Caused by: java.net.SocketTimeoutException: callTimeout=60000, callDuration=68408: row 'weblogs,,' on table 'hbase:meta' at region=hbase:meta,,1.1588230740, hostname=bigdata-pro03.bigDAta.com,60020,1586881704857, seqNum=0
  	--------------
  Caused by: java.net.ConnectException: Connection refused