CentOS下Hive2.0.0集群模式安装详解

本文环境如下：
操作系统：CentOS 6 32位
Hive版本：2.0.0
JDK版本：1.8.0_77 32位
Hadoop版本：2.6.4
MySQL版本：5.6.30

1. 准备工作

1.1 Hive

先完成CentOS下Hive2.0.0单机模式安装详解中的前三个步骤。
Hive和Hadoop一样，有3种启动模式，分别是单机模式，伪分布模式，分布模式。这里说一下分布模式（集群模式）的安装部署方案。

1.2 MySQL

Hive默认使用derby数据库存储元数据，但是该数据库不适用于生产环境，这边使用MySQL作为元数据的存储数据库。
所以需要先安装好MySQL。

1.3 Hadoop

Hive依赖Hadoop，所以需要先安装并启动好Hadoop。

2. 数据库相关

2.1 创建MySQL用户

create user 'hive' identified by 'hive';
grant all privileges on *.* to 'hive' with grant option;
flush privileges;
create database hive;

2.2 拷贝MySQL驱动文件

下载地址：http://dev.mysql.com/downloads/connector/j/ ，解压后拷贝其中的mysql-connector-java-5.1.38-bin.jar到hive的lib文件夹下。

3. 修改配置文件

cd /opt/hive-2.0.0/conf
vi hive-site.xml

修改以下配置

<property>
   <name>javax.jdo.option.ConnectionURL</name>
   <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
   <description>JDBC connect string for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
  <description>Driver class name for a JDBC metastore</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
  <description>username to use against metastore database</description>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
  <description>password to use against metastore database</description>
</property>

4. 初始化数据库

schematool -initSchema -dbType mysql

出现以下几行说明初始化成功:

Starting metastore schema initialization to 2.0.0
Initialization script hive-schema-2.0.0.mysql.sql
Initialization script completed
schemaTool completed

5. 启动程序

hive

如果出现hive>提示符则说明启动成功

6. 导入数据到hive测试

6.1 创建测试数据

vi /root/hive-test.txt

输入以下内容(数字和单词之间空格分隔)

1 hadoop
2 hive
3 hbase
4 hello

6.2 导入数据

输入hive,进入hive命令行,执行以下命令

CREATE TABLE IF NOT EXISTS words (id INT,word STRING)ROW FORMAT DELIMITED FIELDS TERMINATED BY " " LINES TERMINATED BY "\n";

LOAD DATA LOCAL INPATH '/root/hive-test.txt' OVERWRITE INTO TABLE words;

6.3 查询数据

select * from words;

如果正常显示数据则说明导入成功。

6.4 插入数据

insert into words values(5,'nihao');

这个时候我们可以看到程序运行了一个mr作业。

7. 常见错误

7.1 运行hive时出现

Exception in thread "main" java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
    at org.apache.hadoop.hive.metastore.MetaStoreUtils.newInstance(MetaStoreUtils.java:1550)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.<init>(RetryingMetaStoreClient.java:86)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:132)
    at org.apache.hadoop.hive.metastore.RetryingMetaStoreClient.getProxy(RetryingMetaStoreClient.java:104)
    at org.apache.hadoop.hive.ql.metadata.Hive.createMetaStoreClient(Hive.java:3080