【Hive】Hive安装部署

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。

Hive构建在基于静态批处理的Hadoop之上，由于Hadoop通常都有较高的延迟并且在作业提交和调度的时候需要大量的开销。因此，Hive并不适合那些需要低延迟的应用，它最适合应用在基于大量不可变数据的批处理作业，例如，网络日志分析。

Hive的特点是：可伸缩（在Hadoop集群上动态的添加设备）、可扩展、容错、输出格式的松散耦合。

Hive将元数据存储在关系型数据库（RDBMS）中，比如MySQL、Derby中。

Hive有三种模式连接到数据，其方式是：单用户模式，多用户模式和远程服务模式。（也就是内嵌模式、本地模式、远程模式）。

实验步骤

1.首先在Linux本地，新建/data/hive1目录，用于存放所需文件。

mkdir -p /data/hive1
切换目录到/data/hive1下，使用wget命令，下载hive所需安装包hive-1.1.0-cdh5.4.5.tar.gz以及mysql-connector-java-5.1.26-bin.jar。

cd /data/hive1
wget http://59.74.172.143:60000/allfiles/hive1/hive-1.1.0-cdh5.4.5.tar.gz
wget http://59.74.172.143:60000/allfiles/hive1/mysql-connector-java-5.1.26-bin.jar

2.将/data/hive1目录下的hive-1.1.0-cdh5.4.5.tar.gz，解压缩到/apps目录下。

tar -xzvf hive-1.1.0-cdh5.4.5.tar.gz -C /apps/
再切换到/apps目录下，将/apps/hive-1.1.0-cdh5.4.5，重命名为hive。

cd /apps
mv /apps/hive-1.1.0-cdh5.4.5/ /apps/hive

3.使用vim打开用户环境变量。

sudo vim ~/.bashrc
将Hive的bin目录，添加到用户环境变量PATH中，然后保存退出。

#hive config
export HIVE_HOME=/apps/hive
export PATH=$HIV{E}_{H}OME/bin:$PATH
执行source命令，使Hive环境变量生效。

source ~/.bashrc

4.由于Hive需要将元数据，存储到Mysql中。所以需要拷贝/data/hive1目录下的mysql-connector-java-5.1.26-bin.jar到hive的lib目录下。

cp /data/hive1/mysql-connector-java-5.1.26-bin.jar /apps/hive/lib/

5.下面配置Hive，切换到/apps/hive/conf目录下，并创建Hive的配置文件hive-site.xml。

cd /apps/hive/conf
touch hive-site.xml
使用vim打开hive-site.xml文件。

vim hive-site.xml
并将下列配置项，添加到hive-site.xml文件中。

<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExsit=true;characterEncoding=latin1</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>strongs</value>
</property>
</configuration>

由于Hive的元数据会存储在Mysql数据库中，所以需要在Hive的配置文件中，指定mysql的相关信息。

javax.jdo.option.ConnectionURL：数据库链接字符串。

javax.jdo.option.ConnectionDriverName：连接数据库的驱动包。

javax.jdo.option.ConnectionUserName：数据库用户名。

javax.jdo.option.ConnectionPassword：连接数据库的密码。

此处的数据库的用户名及密码，需要设置为自身系统的数据库用户名及密码。

6.另外，还需要告诉Hive，Hadoop的环境配置。所以我们需要修改hive-env.sh文件。

首先我们将hive-env.sh.template重命名为hive-env.sh。

mv /apps/hive/conf/hive-env.sh.template /apps/hive/conf/hive-env.sh
mv /apps/hive/conf/hive-env.sh.template /apps/hive/conf/hive-env.sh
使用vim打开hive-env.sh文件。

vim hive-env.sh
追加Hadoop的路径，以及Hive配置文件的路径到文件中。

# Set HADOOP_HOME to point to a specific hadoop install directory
# HADOOP_HOME=${bin}/../../hadoop
HADOOP_HOME=/apps/hadoop
# Hive Configuration Directory can be controlled by:
# export HIVE_CONF_DIR=
export HIVE_CONF_DIR=/apps/hive/conf

7.下一步是配置Mysql，用于存储Hive的元数据。

首先，需要保证Mysql已经启动。执行以下命令，查看Mysql的运行状态。

sudo service mysql status

通过输出，可以看出Mysql未启动。所以需要执行启动命令。

sudo service mysql start
如果未安装Mysql则需要执行安装命令。若我们的环境已安装Mysql，则无需执行此步。

sudo apt-get install mysql-server

8.开启Mysql数据库。

mysql -u root -p
此时会提示输入密码，此处密码为strongs

创建名为hive的数据库，编码格式为latin1，用于存储元数据。

create database hive CHARACTER SET latin1;
查看数据库是否创建成功。

show databases;
下面，输入exit退出Mysql。

exit

9.执行测试。由于Hive对数据的处理，依赖MapReduce计算模型，所以需要保证Hadoop相关进程已经启动。

输入jps，查看进程状态。若Hadoop相关进程未启动，则需启动Hadoop。

/apps/hadoop/sbin/start-all.sh
启动Hadoop后，在终端命令行界面，直接输入hive便可启动Hive命令行模式。

hive
输入HQL语句查询数据库，测试Hive是否可以正常使用。

show databases;
至此Hive安装完毕。