Hive的安装、配置、测试（Hive入门）

Hive安装配置

Hive使用前提

hadoop集群(这里用的HA高可用)、mysql、hive

Hive安装

xftp传文件

解压hive的压缩包到/opt/module，并把文件名改成hive-3.1.3

tar -zxvf /opt/software/apache-hive-3.1.3-bin.tar.gz -C /opt/module/
mv apache-hive-3.1.3-bin.tar.gz hive-3.1.3

修改系统环境变量

vim /etc/profile.d/my_env.sh

添加以下内容：

#HIVE_HOME
export HIVE_HOME=/opt/module/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin:$PATH:$HIVE_HOME/sbin

source一下：

source /etc/profile

因为hive是一个客户端，所以不用分发到其他机器上。到这里，就不测试默认的derby数据库了，等下装好MySQL直接用MySQL测试

MySQL安装

卸载之前的mariadb/MySQL

不管有没有，先执行以下命令看看:

rpm -qa | grep -i -E mysql\|mariadb

用以下命令卸载：

rpm -qa | grep -i -E mysql\|mariadb | xargs -n1 sudo rpm -e --nodeps

安装过MySQL需要清空原先的所有数据

拿到mysql安装目录

sudo cat /etc/my.cnf

切换root用户，去安装目录干掉所有信息

su root

cd /安装路径
rm -rf *

干掉MySQL依赖

sudo yum remove mysql-libs

安装可能依赖的工具

sudo yum -y install libaio
sudo yum -y install autoconf

在/opt/module下创建mysql_lib,解压MySQL安装包到该目录

module:   mkdir mysql_lib
software:   tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar -C /opt/module/mysql_lib/

安装MySQL依赖

安装顺序:

common------>libs------>libs-compat------>client------>server

cd mysql_lib
sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

MySQL配置

启动mysql服务

sudo systemctl start mysqld

查看mysql密码

sudo cat /var/log/mysqld.log | grep password

这里表示pwd为密码

用刚查到的密码登录mysql

mysql -uroot -p'pwd'

先改一个复杂密码，修改密码策略后再改一个简单密码

mysql> set password=password("Qs23=zs32");
mysql> set global validate_password_length=4;
mysql> set global validate_password_policy=0;
mysql> set password=password("123456");

修改Host表，把root的host改为%

use mysql;
update user set host="%" where user="root";
flush privileges;
quit;

配置Hive采用MySQL存元数据

把之前传的jdbc驱动挪到hive的lib目录下

cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib

在hive-3.1.3/conf下新建hive-site.xml

这个思路跟hadoop自定义core-site.xml差不多，只不过这个需要自己创建文件，hadoop是已经准备好了

vim /opt/module/hive-3.1.3/conf/hive-site.xml

添加：

注意mysql密码和jdbc驱动版本都要一致

<?xml version="1.0"?