hive安装配置以及集成hbase

前期条件：已经安装完hadoop、hbase和元数据配置库mysql。
1、下载hive: http://archive.apache.org/dist/hive/hive-0.9.0/hive-0.9.0.tar.gz
2、配置hive：
解压文件在hadoop上的一个节点：tar zxvf hive-0.9.0.tar.gz
进入conf目录：
cp -rp hive-default.xml.template hive-site.xml

         修改hive-site.xml中的存在路径的配置，把路径配置成绝对路径
cp -rp hive-env.sh.template hive-env.sh

cp  hive-log4j.properties.template  hive-log4j.properties 修改log的路径和日志名称

3、下载mysql的jar包：wget  http://cdn.mysql.com/Downloads/Connector-J/mysql-connector-java-5.1.27.tar.gz

4、解压jar包，拷贝mysql-connector-java-5.1.27-bin.jar到hive的lib目录下

5、登陆mysql，创建用户和分配权限：
mysql  -u root -p

mysql> create database hivedemo;

Query OK, 1 row affected (0.00 sec)

mysql>GRANT ALL PRIVILEGES ON hivedemo.* TO ‘hiveuser’@'%’ IDENTIFIED BY ‘hivepassword’;

mysql>Exit;

6、配置hive的hive-env.sh:
HADOOP_HOME=${HADOOP_HOME}
export HIVE_CONF_DIR=/home/hadoop/hive-0.9.0/conf
export HIVE_AUX_JARS_PATH=/home/hadoop/hive-0.9.0/lib
7、配置hive的hive-site.xml:
替换：
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:derby:;databaseName=metastore_db;create=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
为：
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hivedemo?createDatabaseIfNotExist=true</value>
<description>JDBC connect string for a JDBC metastore</description>
</property>
替换：
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>org.apache.derby.jdbc.EmbeddedDriver</value>
<description>Driver class name for a JDBC metastore</description>
</property>
为：
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>

更改mysql用户名：
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>hiveuser</value>
<description>username to use against metastore database</description>
</property>

更改mysql密码：
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>hivepassword</value>
<description>password to use against metastore database</description>
</property>

9、启动hive，验证是否正确安装部署：
cd /root/test_data/hive-0.9.0/bin
执行 sh hive
执行show databaes;
如果显示default，表示已经正确安装hive.

10、配置hive-site.xml 增加对hbase连接的jar包：
<property>  
 <name>hive.aux.jars.path</name>  
  <value>  
  file:///root/test_data/hive-0.9.0/lib/hive-hbase-handler-0.9.0.jar, 
  file:///home/hadoop/hbase-0.94.5/hbase-0.94.5.jar, 
  file:///zookeeper-3.4.5/zookeeper-3.4.5.jar  
  </value> 
</property> 

11、重新进入hive：
cd /root/test_data/hive-0.9.0/bin
sh hive -hiveconf hbase.zookeeper.quorum=mongo-01,mongo-02,mongo-03
其中mongo-01,mongo-02,mongo-03为zookeeper服务器的hostname
创建hive对应hbase的表：
CREATE EXTERNAL TABLE poi(key string, attributes string,histories string) STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,data:attributes,data:histories");

12、执行查询统计语句，检查结果：
select count(*) from poi;