Hive搭建

环境

JDK1.8 + Hadoop2.6.5 HA + Hive 1.2.1

1. Hive三种搭建方式

Hive中metastore的三种方式：

• 内嵌Derby方式
  使用内嵌的默认元数据数据库Derby，单进程访问
• Local方式
  使用其他的关系型数据库，该关系型数据库和hive在同一个节点
• Remote方式
  使用其他的关系型数据库，该关系型数据库和hive不在同一个节点

注意：Hive必须安装在Hadoop集群的某个节点上

2. Hive下载

Hive下载地址

将$HIVE_HOME/lib 目录下的 jline-x.x.jar 拷贝到 每个Hadoop集群节点的$HADOOP_HOME/share/hadoop/yarn/lib中，并每个Hadoop集群节点中原有的 jline-x.x.jar 删除或重命名jline-x.x.jar.bac

使用mysql的方式，需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下

3. 本地单用户模式（derby）

这种方式是最简单的存储方式，只需要在hive-site.xml做简单配置便可

1. 上传至Hadoop某一个节点中并解压

2. 配置环境变量

   vim /etc/profile
   

   在末尾处添加：

   export HIVE_HOME=/opt/apache-hive-1.2.1-bin
   export PATH=$PATH:$HIVE_HOME/bin
   

3. 修改配置文件

   cd $HIVE_HOME/conf
   cp hive-default.xml.template  hive-site.xml
   vim hive-site.xml
   

   以下配置可写可不写，不写就是默认值

   <?xml version="1.0"?>  
   <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
   <configuration>
   <property>
     <name>javax.jdo.option.ConnectionURL</name>
     <value>jdbc:derby:;databaseName=metastore_db;create=true</value>
   </property>
   <property>
     <name>javax.jdo.option.ConnectionDriverName</name>
     <value>org.apache.derby.jdbc.EmbeddedDriver</value>
   </property>
   <property>
     <name>hive.metastore.warehouse.dir</name>
     <value>/user/hive/warehouse</value>
   </property>
   </configuration>
   

4. 替换Hadoop中的jar包
   将$HIVE_HOME/lib 目录下的 jline-x.x.jar 拷贝到 每个Hadoop集群节点的$HADOOP_HOME/share/hadoop/yarn/lib中，并每个Hadoop集群节点中原有的 jline-x.x.jar 删除或重命名jline-x.x.jar.bac
   

5. hive
   hive
   
   

注：使用derby存储方式时，运行hive会在当前目录生成一个derby文件和一个metastore_db目录。这种存储方式的弊端是在同一个目录下同时只能有一个hive客户端能使用数据库，否则会提示如下错误

FAILED: Error in metadata: javax.jdo.JDOFatalDataStoreException: Failed >to start database 'metastore_db', see the next exception for details.
NestedThrowables:
java.sql.SQLException: Failed to start database 'metastore_db', see the >next exception for details.
FAILED: Execution Error, return code 1 from >org.apache.hadoop.hive.ql.exec.DDLTask

4. 本地多用户模式（mysql）

这种存储方式需要本地运行一个mysql服务器，并作如下配置（下面两种使用mysql的方式，需要将mysql的jar包拷贝到$HIVE_HOME/lib目录下）。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_mysql/warehouse</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://localhost/hive_remote?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
</configuration>

mysql需要创建hive用户，并授权，且设置为可以远程登录

5. 多用户模式

5.1 Remote一体

这种存储方式需要在远端服务器运行一个mysql服务器，并且需要在Hive服务器启动metastore服务。

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive_rone/warehouse</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:mysql://node1/hive_rone?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hivehive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://node2:9083</value>
</property>
</configuration>

注：这里把hive的服务端和客户端都放在同一台服务器上了。服务端和客户端可以拆开，在启动的时候，需要先启动metastore服务

hive --service metastore
hive
./hive --help

5.2 Remote分离

两台服务器，一台配置hive服务端，一台配置hive客户端

将hive-site.xml配置文件拆为如下两部分

1. 服务端配置文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hive.metastore.warehouse.dir</name>
  <value>/user/hive/warehouse</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://node1/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionDriverName</name>
  <value>com.mysql.jdbc.Driver</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hivehive</value>
</property>
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hive</value>
</property>
</configuration>

2. 客户端配置文件

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
  <name>hive.metastore.uris</name>
  <value>thrift://node2:9083</value>
</property>
</configuration>

3. 启动hive服务端程序
   hive --service metastore

   客户端直接使用hive命令即可
   hive