mysql 安装
sudo dnf install @mysql # 进行安装
sudo systemctl enable --now mysqld # 启动mysql服务,并使得以后开机自启动
sudo systemctl status mysqld # 查看mysql状态,看看是否成功启动
sudo mysql_secure_installation # 进行一些简单配置,比如设置root用户密码,询问是否删除匿名用户等,要注意其中有一个是关于“不进行远程连接的选项”输入no,其余的输入yes就行
mysql -u root -p #登录root用户
image
对mysql进行配置并创建数据库和用户
GRANT all ON *.* TO 'root'@'%' WITH GRANT OPTION; # 给root用户所有表的操作权,并使它能给其它用户授权
FLUSH PRIVILEGES; # 刷新权限
create user 'hive'@'%' identified by 'user_hive'; # 创建用户hive并设置密码‘user_hive’
grant all on *.* to 'hive'@'localhost'; # 给用户hive所有权限
FLUSH PRIVILEGES; # 刷新权限
需要注意的是,你会看到有些教程里@后面是‘localhost’而我这里是‘%’,如果是前者就只能本地登录,如果是后者就可以远程登录。我在执行上面这几个命令时遇到了报错,具体报错内容我这里没有记录,不过我当时的解决方式如下:
use mysql ; # 打开mysql数据库
select host,user from user ; # 查看不同用户允许的连接方式
update user set host = ’%’ where user = ’root’; # 手动更改成允许远程连接
update user set host = ’%’ where user = ’hive’; # 手动更改成允许远程连接
select host,user from user ; # 再次查询,确定更改已完成
image
上图就是更改完成后的查询结果,改完之后,你再重新设置权限应该就没有报错了。
然后我们退出mysql,对其进行一些配置,命令如下:
cd /etc/my.cnf.d/ # 进入mysql配置文件目录
vim mysql-server.cnf # 对mysql-server 进行配置
bind-address=192.168.214.129 # 添加这一行,更改mysql连接时的IP
systemctl restart mysqld.service # 重启服务
netstat -ntlp # 查看mysql服务ip是否发生改变
image
看到这行就说明配置成功了,我们就可以进入下一环节。
hive安装及用mysql储存metadata
我这里安装的hive版本是hive-2.3.4,安装过程很简单就是用你windows电脑下载apache-hive-2.3.4-bin.tar.gz包,然后在远程客户端中用rz命令进行文件上传,再进行tar -zxvf apache-hive-2.3.4-bin.tar.gz 解压。
解压完成后,我们就进入熟悉的软件配置环节,首先要添加环境变量~/.bashrc或者/etc/profile这两个文件选其一,前者只对当前用户生效,后者对所有用户生效,本文选的是前者添加的命令如下:
export HIVE_HOME=/usr/local/hive
export PATH=$PATH:$HIVE_HOME/bin
然后再source ~/.bashrc使配置生效。接下来我们创建hive的配置文件:
cd $HIVE_HOME/conf # 进入hive的配置文件目录
cp hive-env.sh.template hive-env.sh #复制hive-env.sh模板
touch hive-site.xml # 创建hive-site.xml文件
下一步,修改配置文件内容,先修改hive-env.sh:
HADOOP_HOME=/usr/local/hadoop # hadoop路径
export HIVE_CONF_DIR=/usr/local/hive/conf # hive的conf路径
export HIVE_AUX_JARS_PATH=/usr/local/hive/lib # jar包的存放路径
再修改hive-site.xml:
hive.default.fileformat
TextFile
javax.jdo.option.ConnectionURL
jdbc:mysql://192.168.214.129:3306/onhive
JDBC connect string for a JDBC metastore
javax.jdo.option.ConnectionDriverName
com.mysql.cj.jdbc.Driver
Driver class name for a JDBC metastore
javax.jdo.option.ConnectionUserName
hive
username to use against metastore database
javax.jdo.option.ConnectionPassword
user_hive
password to use against metastore database
还有一个关键的事情就是,你需要一个mysql-connector-java-8.0.19.jar,顾名思义就是用java连接mysql因为hive的底层代码是java所以需要这么个东西,你在官网下载完成后把这个文件放到$HIVE_HOME/lib目录下。
现在我们万事俱备只欠东风,只用进行最后一步初始化操作:
schematool -dbType mysql -initSchema
一切配置初始化都已完成,然后我们运行下面的命令打开hive:
start-dfs.sh
hive
注意一般启动完hadoop后要等待30s再启动hive,因为hadoop启动后前30s会有安全模式,此时你启动hive会出现exception。
即便上述所有事情都做完后,我如果没记错的话还会出现两个WARN,其中一个是SLF4J多重绑定,你只要把老版本的jar文件删除就行,另一个我忘记了,不过你可以在网上找到答案,其中一个答案是说64位系统装了32位系统的包,很抱歉这个答案一般是错的。正确答案是什么我已记不清,请自己去寻找。
所有的安装就都已完成,运行后显示如下:
image