centOS8安装hive和mysql_centos8安装hadoop、hive及配置mysql作为metadata全套教程（伪分布模式）下...

mysql 安装

sudo dnf install @mysql # 进行安装

sudo systemctl enable --now mysqld # 启动mysql服务，并使得以后开机自启动

sudo systemctl status mysqld # 查看mysql状态，看看是否成功启动

sudo mysql_secure_installation # 进行一些简单配置，比如设置root用户密码，询问是否删除匿名用户等，要注意其中有一个是关于“不进行远程连接的选项”输入no，其余的输入yes就行

mysql -u root -p #登录root用户

image

对mysql进行配置并创建数据库和用户

GRANT all ON *.* TO 'root'@'%' WITH GRANT OPTION; # 给root用户所有表的操作权，并使它能给其它用户授权

FLUSH PRIVILEGES; # 刷新权限

create user 'hive'@'%' identified by 'user_hive'; # 创建用户hive并设置密码‘user_hive’

grant all on *.* to 'hive'@'localhost'; # 给用户hive所有权限

FLUSH PRIVILEGES; # 刷新权限

需要注意的是，你会看到有些教程里@后面是‘localhost’而我这里是‘%’，如果是前者就只能本地登录，如果是后者就可以远程登录。我在执行上面这几个命令时遇到了报错，具体报错内容我这里没有记录，不过我当时的解决方式如下：

use mysql ; # 打开mysql数据库

select host,user from user ; # 查看不同用户允许的连接方式

update user set host = ’%’ where user = ’root’; # 手动更改成允许远程连接

update user set host = ’%’ where user = ’hive’; # 手动更改成允许远程连接

select host,user from user ; # 再次查询，确定更改已完成

image

上图就是更改完成后的查询结果，改完之后，你再重新设置权限应该就没有报错了。

然后我们退出mysql，对其进行一些配置，命令如下：

cd /etc/my.cnf.d/ # 进入mysql配置文件目录

vim mysql-server.cnf # 对mysql-server 进行配置

bind-address=192.168.214.129 # 添加这一行，更改mysql连接时的IP

systemctl restart mysqld.service # 重启服务

netstat -ntlp # 查看mysql服务ip是否发生改变

image

看到这行就说明配置成功了，我们就可以进入下一环节。

hive安装及用mysql储存metadata

我这里安装的hive版本是hive-2.3.4，安装过程很简单就是用你windows电脑下载apache-hive-2.3.4-bin.tar.gz包，然后在远程客户端中用rz命令进行文件上传，再进行tar -zxvf apache-hive-2.3.4-bin.tar.gz 解压。

解压完成后，我们就进入熟悉的软件配置环节，首先要添加环境变量~/.bashrc或者/etc/profile这两个文件选其一，前者只对当前用户生效，后者对所有用户生效，本文选的是前者添加的命令如下：

export HIVE_HOME=/usr/local/hive

export PATH=$PATH:$HIVE_HOME/bin

然后再source ~/.bashrc使配置生效。接下来我们创建hive的配置文件：

cd $HIVE_HOME/conf # 进入hive的配置文件目录

cp hive-env.sh.template hive-env.sh #复制hive-env.sh模板

touch hive-site.xml # 创建hive-site.xml文件

下一步，修改配置文件内容，先修改hive-env.sh：

HADOOP_HOME=/usr/local/hadoop # hadoop路径

export HIVE_CONF_DIR=/usr/local/hive/conf # hive的conf路径

export HIVE_AUX_JARS_PATH=/usr/local/hive/lib # jar包的存放路径

再修改hive-site.xml:

hive.default.fileformat

TextFile

javax.jdo.option.ConnectionURL

jdbc:mysql://192.168.214.129:3306/onhive

JDBC connect string for a JDBC metastore

javax.jdo.option.ConnectionDriverName

com.mysql.cj.jdbc.Driver

Driver class name for a JDBC metastore

javax.jdo.option.ConnectionUserName

hive

username to use against metastore database

javax.jdo.option.ConnectionPassword

user_hive

password to use against metastore database

还有一个关键的事情就是，你需要一个mysql-connector-java-8.0.19.jar，顾名思义就是用java连接mysql因为hive的底层代码是java所以需要这么个东西，你在官网下载完成后把这个文件放到$HIVE_HOME/lib目录下。

现在我们万事俱备只欠东风，只用进行最后一步初始化操作：

schematool -dbType mysql -initSchema

一切配置初始化都已完成，然后我们运行下面的命令打开hive:

start-dfs.sh

hive

注意一般启动完hadoop后要等待30s再启动hive，因为hadoop启动后前30s会有安全模式，此时你启动hive会出现exception。

即便上述所有事情都做完后，我如果没记错的话还会出现两个WARN，其中一个是SLF4J多重绑定，你只要把老版本的jar文件删除就行，另一个我忘记了，不过你可以在网上找到答案，其中一个答案是说64位系统装了32位系统的包，很抱歉这个答案一般是错的。正确答案是什么我已记不清，请自己去寻找。

所有的安装就都已完成，运行后显示如下：

image