（实验七）Hadoop集群安装之安装数据仓库Hive

实验目的要求

目的：
1、数据仓库工具Hive的安装和配置
2、掌握数据仓库工具Hive的安装和配置
要求：
1、完成Hive工具的安装和配置
2、Hive工具能够正常启动运行
3、Hive控制台命令能够正常使用
4、能够正常操作数据库、表、数据

实验环境

1、一台独立PC机或虚拟机
2、每台主机内存2G以上，磁盘剩余空间500M以上
3、已安装CentOS 7.4操作系统
4、已安装JDK
5、已完成Hadoop平台的搭建
6、已完成MySQL数据库平台的搭建

软件版本

• 选用Hive的2.1.1版本，软件包名apache-hive-2.1.1-bin.tar.gz;

• 依赖软件：Hive工具使用JDBC方式连接MySQL数据库，需要用到MySQL数据库连接工具软件，选用该软件的5.1.42版本，软件包名mysql-connector-java-5.1.42-bin.jar

实验步骤

步骤一：Hive工具安装配置

*Hive工具安装过程的所有操作步骤都需要使用admin用户进行；
*此项步骤只在集群中Cluster-01主机上进行操作即可；
1、首先，Hive相关软件包上传到admin用户家目录的新建“setups”目录下，并解压软件包到“Hive”目录下。

2、配置Hive相关的环境变量


3、使环境变量生效，并查看新添加和修改的环境变量是否成功，以及环境变量的值是否正确。

4、进入Hive的配置文件目录。Hive的配置文件默认都被命名为了模板文件，需要对其进行靠欸重命名之后才能使用。

5、修改配置文件,找到相关配置项并对其值进行修改。

#vi hive-env.sh

步骤二：开启zookeeper集群，Hadoop集群以及HBase集群

*该项的所有操作步骤使用专门用于集群的用户admin进行。
*启动HBase集群之前首先要确保Zookeeper集群已被开启的状态。（实验5台）
Zookeeper的启动需要分别在每个计算机的节点上手动启动。如果加目录下执行启动报错，则需要进入zookeeper/bin目录执行启动命令。
*启动HBase集群之前首先确保Hadoop集群已被开启状态。（实验5台）
Hadoop只需要在主节点执行启动命令。
1、在集群所有主机上启动Zookeeper服务





2、在主节点查看java进程信息，若有名为“NameNode”、“ResourceManager”的两个进程，则表示Hadoop集群的主节点启动成功。在每台数据节点，若有名为“DataNode”和“NodeManager”两个进程，则表示Hadoop集群的数据节点启动成功。

3、确定Hadoop集群已开启状态，然后在主节点使用此命令，启动HBase集群，并在集群所有主机上查看HBase集群启动状态。





4、在HDFS中分别创建Hive的临时文件“tmp”，数据存储目录“warehouse”，日志文件目录“log”，并且添加三个目录的用户组写权限。

5、修改配置文件hive-site.xml

步骤三：创建hive元数据数据库

*只有本操作步骤需要使用root用户进行。
*只有本项步骤只在集群中Cluster-04主机上进行操作即可。
1、启动mysql集群



2、在MySQL数据库SQL服务节点Cluster-04中创建一个数据库“hive”用于存放hive的元数据，该数据库的用户名和密码均为“hive”，数据库名、用户名、密码均可以自行设定，但需要与Hive配置文件中的内容相对应，连接MySQL数据库。


3、添加MySQL连接的相关配置信息
*从此步往后面Hive安装过程的所有操作步骤都需要使用admin用户进行。
*后面步骤只在集群中Cluster-01主机上进行操作即可。





4、将MySQL的数据库连接工具包添加到Hive的“lib”目录下

#cp -v ~/setups/mysql-connector-java-5.1.42-bin.jar ~/hive/apache-hive-2.1.1-bin/lib

5、添加MySQL连接的相关配置信息。
在编辑器中使用快捷键“：”进入到编辑器的命令模式，也成为末行模型，然后使用命令

“%s#${system:java.io.tmpdir}#/home/admin/hive/tmp#g”以及

“%s#KaTeX parse error: Expected 'EOF', got '#' at position 19: …stem:user.name}#̲{user.name}#g”替换掉配置文件中的原有配置内容。保存退出。
6、对Hive进行初始化

步骤五：Hive工具启动和验证

*Hive安装过程的所有操作步骤都需要使用admin用户进行。
*本项步骤只在集群中Cluster-01主机上进行操作即可。
1、使用命令“hive”启动Hive，启动成功后能够进入Hive的控制台；
在控制台中使用命令“show databases;”查看当前的数据库列表。

2、在控制台中使用命令“show functions;”查看Hive的功能函数。

3、在控制台中使用命令“desc function sum;”或“desc function extended sum;”查看Hive的功能函数的详细信息；使用命令“quit;”或“exit;”退出Hive的控制台。