任务8：安装大数据统计分析工具Hive

任务描述

知识点：Hive安装应用

重  点：

• 基于CentOS系统，安装配置Hive
• 创建访问Hive数据库的用户，并授予访问权限

内  容：

• 安装Hive
• 配置MySQL、设置远程访问权限
• 配置Hive
• Hive服务端、客户端访问

任务指导

1. Hive简介

Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。Hive十分适合对数据仓库进行统计分析。

2. 安装Hive过程如下（在master节点安装）：

• 安装Hive
  • 创建hive目录，解压Hive软件包；
• 配置MySQL数据库；
  • 进入mysql数据库
  • 创建hive数据库，用来保存Hive元数据
  • 创建访问Hive数据库的用户，并授予访问权限
• 配置Hive；
  • 配置环境变量并使之生效
  • 修改Hive相关配置
  • 根据模板创建hive-env.sh和hive-site.xml文件
  • 配置hive-env.sh和hive-site.xml文件
  • 根据hive-site.xml配置，创建缓存目录
  • 修改bin/hive-config.sh 文件
  • 将mysql-connector-java-5.1.41-bin.jar包复制到/home/hive/apache-hive-2.1.0-bin/lib目录下
  • 从master上分发hive到slave 
  • 在slave端修改 conf/hive-site.xml 文件
• 启动Hive
  • 启动Hadoop集群
  • 初次启动之前需要初始化数据库
  • 启动metastore服务
  • 在 Hive服务器端(master)访问
  • Hive客户端(slave)访问

任务实现

1. 安装Hive（在master节点安装）

        1）创建/home/hive/目录，命令如下：

# mkdir /home/hive

        2）安装包apache-hive-2.1.0-bin.tar.gz已存放在/home/software/目录下。

        3）进入/home/software目录，命令如下：

# cd /home/software/

        4）解压apache-hive-2.1.0-bin.tar.gz 到 /home/hive/ 目录下，命令如下：

# tar -zxvf apache-hive-2.1.0-bin.tar.gz -C /home/hive/

2. 配置MySql数据库

        1）进入mysql数据库：

# mysql -uroot -proot

 2）创建hive数据库，用来保存Hive元数据，语句如下；

mysql> create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

        3）创建访问Hive数据库的用户，并授予访问权限：

mysql> grant all on *.* to 'hive'@'%' IDENTIFIED BY 'hive';
mysql> grant all on *.* to 'hive'@'localhost' IDENTIFIED BY 'hive';

        4）刷新权限列表，并退出MySQL

mysql> FLUSH PRIVILEGES;
mysql> exit;

3. 配置Hive

        1）配置环境变量

 使用【# vim /etc/profile】命令，编辑/etc/profile文件，在文件最后，添加如下内容：

export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export PATH=:$PATH:$HIVE_HOME/bin

 使用【# source /etc/profile】命令使环境变量生效。

# source /etc/profile

        2）修改Hive相关配置

 进入$HIVE_HOME/conf目录根据模板创建hive-env.sh和hive-site.xml文件

• 进入conf目录

# cd $HIVE_HOME/conf

• 从模板复制并创建hive-env.sh文件

# cp hive-env.sh.template hive-env.sh

• 修改$HIVE_HOME/conf/hive-env.sh文件

# vim hive-env.sh

添加如下内容：

HADOOP_HOME=/home/hadoop/hadoop-2.9.2/
export HIVE_CONF_DIR=/home/hive/apache-hive-2.1.0-bin/conf

• 使用【vim hive-site.xml】新建hive-site.xm配置文件

# vim hive-site.xml

添加内容如下所示：

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- 指定Hive元数据要访问的地址 -->
<property> 
    <name>hive.metastore.uris</name> 
    <value>thrift://master:9083</value>
    <description>Thrift   URI for the remote metastore. Used by metastore client to connect to remote   metastore.</description> 
</property>
<!-- Hive元数据库连接地址 -->
<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
</property>
<!-- JDBC连接驱动 -->
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
</property>
<!-- 数据库连接用户名 -->
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
</property>
<!-- 数据库连接密码-->
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
</property>
<!--配置缓存目录-->
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/home/hive/apache-hive-2.1.0-bin/iotmp</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/home/hive/apache-hive-2.1.0-bin/iotmp</value>
</property>
</configuration>

• 根据hive-site.xml配置，创建缓存目录：

# cd /home/hive/apache-hive-2.1.0-bin/
# mkdir iotmp

• 修改 /home/hive/apache-hive-2.1.0-bin/bin/hive-config.sh 文件

# vim /home/hive/apache-hive-2.1.0-bin/bin/hive-config.sh

添加如下内容：

export JAVA_HOME=/home/java/jdk1.8.0_221
export HIVE_HOME=/home/hive/apache-hive-2.1.0-bin
export HADOOP_HOME=/home/hadoop/hadoop-2.9.2/

• 如果Hive使用MySql作为元数据存储方式，则需要添加MySql的驱动程序到Hive的lib目录下

 下载mysql-connector-java-5.1.41-bin.jar文件，存放到/home/software目录中，并复制到/home/hive/apache-hive-2.1.0-bin/lib目录下。

# cp /home/software/mysql-connector-java-5.1.41-bin.jar /home/hive/apache-hive-2.1.0-bin/lib/

• 如果不在master节点上访问Hive，则需要：

        1）配置slave节点为客户端；

        2）从master上分发hive到slave 。

# scp -rq /home/hive/ root@slave1:/home/
# scp -rq /etc/profile root@slave1:/etc/

4. 启动Hive（在master节点上）

• 需要先启动hadoop（如已启动，无需再次启动）

# cd /home/hadoop/hadoop-2.9.2/
# sbin/start-all.sh 

• 初次启动之前需要初始化数据库，以后不需要

# schematool -initSchema -dbType mysql

• 启动metastore服务

# hive --service metastore &

• 在 Hive服务器端(master)访问

# hive
hive> show databases;
OK
default
Time taken: 1.332 seconds, Fetched: 2 row(s)
hive> create database test;
OK
Time taken: 0.152 seconds
hive> create table test1(id int);
OK
Time taken: 0.174 seconds
hive> show tables;
OK
test1
Time taken: 0.026 seconds, Fetched: 1 row(s)

• Hive客户端(slave)访问（步骤可选）

# hive
hive> show databases;
OK
default
test
Time taken: 0.219 seconds, Fetched: 2 row(s)
hive> use default;
OK
Time taken: 0.015 seconds
hive> show tables;
OK
test1
Time taken: 0.022 seconds, Fetched: 1 row(s)

注意：

• 启动顺序：Hadoop -> Hive
• 所创建的数据库及其表都是默认存放在hdfs的 /user/hive/warehouse 目录底下。存放路径也可以进行更改，在hive-site.xm配置文件中，添加如下内容：

<property> 
  <name>hive.metastore.warehouse.dir</name> 
  <value>hdfs://master:9000/hive/warehouse</value> 
</property>

上一个任务下一个任务