Hive环境搭建

---

前言

Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能，其本质是将SQL转换为MapReduce的任务进行运算，底层由HDFS来提供数据的存储。

一、Mysql安装

由于Hive的元数据会存储在Mysql中，所以在安装Hive之前确保MySQL环境已经搭好
MySQL安装包：MySQL安装包

（一）将MySQL安装包上传到Linux系统中，并进行解压

#将MySQL的安装包提前上传到Linux的/export/software目录

cd /export/software
tar  -zxvf mysql-5.7.29-linux-glibc2.12-x86_64.tar.gz -C /export/server/

（二）重命名解压后的MySQL文件夹

cd /export/server

mv mysql-5.7.29-linux-glibc2.12-x86_64  mysql-5.7.29

（三）添加用户组和用户

groupadd mysql
useradd -r -g mysql mysql

（四）修改目录权限

chown -R mysql:mysql /export/server/mysql-5.7.29/

（五）配置MySQL服务

cp /export/server/mysql-5.7.29/support-files/mysql.server /etc/init.d/mysql  

（六）修改MySQL配置档案

1）修改/etc/init.d/mysql文件
	vim /etc/init.d/mysql

	将该文件的basedir和datadir路径修改为以下内容
	basedir=/export/server/mysql-5.7.29
	datadir=/export/server/mysql-5.7.29/data
	
2）修改配置文件my.cnf
	vim /etc/my.cnf
	将/etc/my.cnf原来的内容全部删除，然后将以下内容复制进去.
	[client]
		port=3306
		default-character-set=utf8
		[mysqld]
		basedir=/export/server/mysql-5.7.29
		datadir=/export/server/mysql-5.7.29/data
		port=3306
		character-set-server=utf8
	default_storage_engine=InnoDB

（七）初始化MySQL

/export/server/mysql-5.7.29/bin/mysqld 
--defaults-file=/etc/my.cnf
--initialize 
--user=mysql 
--basedir=/export/server/mysql-5.7.29 
--datadir=/export/server/mysql-5.7.29/data
执行该命令之后，会生成一个mysql的临时密码，记下这个密码后边要使用

（八）启动服务

service mysql start

（九）登录MySQL

使用第7步生成的临时密码
/export/server/mysql-5.7.29/bin/mysql -uroot -p临时密码

如果回车之后临时密码报错，则可以执行以下指令，然后手动输入临时密码:
/export/server/mysql-5.7.29/bin/mysql -uroot -p

（十）修改密码

这条命令是在登录mysql之后执行
set password=password('123456');

（十一）开启远程访问权限

这条命令是在登录mysql之后执行
GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '123456'; 
flush privileges;

（十二）修改环境变量

退出mysql,然后修改Linux的/etc/profile文件
vim /etc/profile
在该文件末尾最后添加以下内容
export MYSQL_HOME=/export/server/mysql-5.7.29
	export PATH=$PATH:$MYSQL_HOME/bin
保存修改之后，让该文件的修改生效
source /etc/profile

（十三）将mysql设置为开机启动

chkconfig --add mysql  #mysql服务到自启服务
chkconfig mysql on #设置自启

二、Hive环境安装

（一）上传压缩包到/export/software目录里，并解压安装包

cd /export/software/
tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /export/server
cd /export/server
mv apache-hive-3.1.2-bin hive-3.1.2

（二）处理hadoop、hive之间guava版本差异

cd /export/server/hive-3.1.2
rm -rf lib/guava-19.0.jar
cp /export/server/hadoop-3.3.0/share/hadoop/common/lib/guava-27.0-jre.jar ./lib/

（三）添加mysql jdbc驱动到hive安装包lib/文件下

mysql-connector-java-5.1.47-bin.jar

（四）修改hive环境变量文件 添加Hadoop_HOME

cd /export/server/hive-3.1.2/conf/
mv hive-env.sh.template hive-env.sh

vim hive-env.sh
HADOOP_HOME=/export/server/hadoop-3.3.0
export HIVE_CONF_DIR=/export/server/hive-3.1.2/conf
export HIVE_AUX_JARS_PATH=/export/server/hive-3.1.2/lib
export HADOOP_HEAPSIZE=4096

（五）在/export/server/hive-3.1.2/conf目录下新增hive-site.xml 配置mysql等相关信息

vim hive-site.xml

<configuration>
    <!-- 存储元数据mysql相关配置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>
        	 jdbc:mysql://node3:3306/hive?createDatabaseIfNotExist=true&amp;
       		 useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8
        </value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>123456</value>
    </property>

    <!-- H2S运行绑定host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>node3</value>
    </property>

    <!-- 远程模式部署metastore 服务地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://node3:9083</value>
    </property>

    <!-- 关闭元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- 关闭元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
</configuration>

（六）添加环境变量

vim /etc/profile

export HIVE_HOME=/export/server/hive-3.1.2
export PATH=:$HIVE_HOME/bin:$PATH

（七）让配置的Hive环境变量生效

source /etc/profile

（八）初始化metadata(只需要在配置完Hive之后进行一次操作)

cd /export/server/hive-3.1.2
schematool -initSchema -dbType mysql -verbos
#初始化成功会在mysql中创建74张表

（九）启动Metastore 和 Hiveserver2

nohup /export/server/hive-3.1.2/bin/hive --service metastore  2>&1 &
nohup /export/server/hive-3.1.2/bin/hive --service hiveserver2 2>&1 &

（十）验证是否安装成功

在Linux中输入hive命令，直接回车,出现一个终端，在该终端中可以输入sql命令:
show databases;

（十一）如果hive没有安装成功，则需要做以下操作:

1、检查参数是否有问题
2、杀死两个junjar进程
3、进入mysql删除hive数据库：drop database  hive
重新对hive初始化：schematool -initSchema -dbType mysql -verbos

---

总结

从环境安装的步骤来看，Hive需要MySQL的支持才行正常运行，所以需要搭建Hive环境之前需要确保MySQL已经搭建好了。