大数据：Hive3.x安装部署和配置

---

Hive 简介

hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。

Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive十分适合对数据仓库进行统计分析。

一，MySQL 下载和安装

1）下载mysql

百度网盘自取：
链接：https://pan.baidu.com/s/1RlvGc2u_oMU1avdpt175Hg
提取码：3w5v

2）安装mysql

1，将下载好的mysql安装包和驱动jar包使用finalshell上传到software目录下

[root@master ~]# cd /opt/software/
[root@master software]# mkdir mysql

2，将mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar包解压到mysql目录下

[root@master software]# tar -xf mysql-5.7.39-1.el7.x86_64.rpm-bundle.tar -C mysql

3，进入mysql目录，依次安装mysql依赖

[root@master software]# cd /mysql
[root@master mysql]# rpm -ivh mysql-community-common-5.7.39-1.el7.x86_64.rpm

[root@master mysql]# rpm -ivh mysql-community-libs-5.7.39-1.el7.x86_64.rpm

[root@master mysql]# rpm -ivh mysql-community-libs-compat-5.7.39-1.el7.x86_64.rpm

4，安装mysql-client

[root@master mysql]# rpm -ivh mysql-community-client-5.7.39-1.el7.x86_64.rpm

5，安装mysql-server

[root@master mysql]# rpm -ivh mysql-community-server-5.7.39-1.el7.x86_64.rpm

6，启动mysql

[root@master mysql]# systemctl start mysqld

7，查看mysqlmima

[root@master mysql]# cat /var/log/mysqld.log | grep password

3）密码错误无法登录mysql

1，关闭mysql

service mysqld stop

2，修改mysql的配置文件，通过下面命令，进入配置文件当中

vim /etc/my.cnf

3，在文件末尾加上

skip-grant-tables

4，重启mysql服务

service mysqld start

5，进入数据库（输入密码时，直接回车即可）

mysql -u root -p

6，重置mysql密码

update mysql.user set password=password('123456') where user='root';

7，密码改成功后，需将skip-grant-tables给删除掉
8，重启mysql服务

service mysqld restart

9，输入密码，正常登录mysql即可

二，Hive 下载和安装

1）下载hive

1.登录apache官网下载 apache-hive-3.1.3-bin.tar.gz，单击 Download 下的 “Distribution”

2.下拉找到hive，然后单击hive

3.然后单击 hive-3.1.3/

4.单击 apache-hive-3.1.3-bin.tar.gz，开始下载

2）安装hive

1.解压hive到/opt目录下
命令：tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt

2.改名文件夹
命令：mv apache-hive-3.1.3-bin hive

三，Hive 部署

1.进入hive配置目录
命令：cd /opt/hive/conf

2.解决Hive与Hadoop之间guava版本差异
命令：rm -f /opt/hive/lib/guava-19.0.jar
命令：cp /opt/hadoop-3.3.4/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib

1）添加hive-site.xml配置

1.进入conf目录，命令：cd /opt/hive/conf

2.进入hive-site.xml配置界面，命令：vi /opt/hive/conf/hive-site.xml

3.添加以下内容：

<configuration>
    # 配置MySQL的连接地址、连接数据库
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://localhost:3306/hivedb?createDatabaseIFNotExist=true</value>
    </property>
    # 配置MySQL的驱动类
    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>
    # 配置登录MySQL的用户名
    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>
    # 配置登录MySQL的密码
    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>p@ssw0rd</value>
    </property>
</configuration>

2）上传mysql jdbc驱动到hive安装包lib下

命令：cp mysql-connector-java-5.1.49.jar /opt/hive/lib

3）初始化元数据库

命令：/opt/hive/bin/schematool -initSchema -dbType mysql -verbos

4）启动hive

1.启动hive metastore服务

#前台启动，关闭ctrl+c
/opt/hive/bin/hive --service metastore

#前台启动开启debug日志
/opt/hive/bin/hive --service metastore --hiveconf hive.root.logger=DEBUG,console  

#后台启动 进程挂起  关闭需要直接杀进程（先jps查看进程号，再kill -9）
nohup /opt/hive/bin/hive --service metastore &

2.启动hiveserver2服务，命令：/opt/hive/bin/hive --service hiveserver2 &

5）beeline客户端连接

1.默认配置会报错，需要修改hadoop的配置文件core-site.xml命令：vi /opt/hadoop-3.3.4/etc/hadoop/core-site.xml

增加属性如下：

<property>
    <name>hadoop.proxyuser.root.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.root.groups</name>
    <value>*</value>
</property>

注：重启hadoop后，再进行连接

2.启动beeline，输入命令：/opt/hive/bin/beeline
3.连接hive，输入命令：!connect jdbc:hive2://master:10000