目录
一.下载安装MySQL
1.在MySQL官网上下载。
1.搜索MySQL的官网,也可以点击https://www.mysql.com/进入MySQL的官网页面。
2. 进入页面后点击 downloads,进入下载页面
3.进入到 downloads界面后往下拉页面,选择MySQL Community Downloads
4.进入MySQL的社区下载,下载MySQL和jar包,需要注意的是hive的配置MySQL
的jar包,这里一并下载。
下载MySQL
点击 MySQL Community Server
进入页面后显示的是MySQL的最新版本,最新版本往往在自己的项目中会导致一些
问题,比如:jar包不全,版本冲突等。这里我们选择下载的是MySQL的8.0.26。这个与
我们所要搭配的Hive-3.1.3的版本是兼容的。
点击Archives,这里可以选择MySQL的旧版本。
进入到Archives界面后选择响应的版本系统,选择8.0.26版本,系统选择红帽
选择好版本后我们点击下载我们的MySQL版本
注:这里面下载文件最大的那一个版本,这里面包含了下面的文件,是这一版本
MySQL软件包的总和。
点击download下载,这里需要注意的是有的浏览器下载的时候会弹出是否需要帮助
的页面,只需要点击左下角不需要帮助就行了。
下载jar包(如果只是安装MySQL的不用下载jar包)
回到之前的MySQL社区下载的界面选择MySQL的jar
进入jar的界面选择 Archives,进到Archives界面后这次选择
2.上传MySQL到centos虚拟机上
点击Xftp 7连接我们的虚拟机
这里的Xftp 7我们可以在Xftp 7可以在官网上自行下载,这里就不阐述具体的下载了
3.解压并安装MySQL
1. 进入到我们的centos虚拟机,找到我们上传到文件目录下,这里的目录可以随意选择
在上传的过程中,我们默认放在/opt目录下用来管理安装的包
2.使用命令解压我们的MySQL安装包
解压命令为:
tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar
这里如果想要将其解压到别的文件夹下可以使用
tar -xvf mysql-8.0.26-1.el7.x86_64.rpm-bundle.tar -C [所要存放的目录]
这里就解压到我们当前的目录下,需要注意的是解压出来是多个文件,所以放在一
个空文件夹下更好。解压出来是蓝色框中的几个数据。
3.卸载centos7自带的mariadb库,这与MySQL数据库会产生冲突。
使用rpm命令来查看自己的虚拟机上是否有mariadb
rpm -qa |grep mariadb
使用rpm命令删除 mariadb
rpm -e --nodeps mariadb-libs
这里需要注意的是如果出现提示权限不足时,需要提权,使用sudo su或者su
4.安装MySQL,需要注意的是在安装MySQL时它是需要有先后顺序的,这是因为在
rpm包中是有依赖关系的,安装顺序错误会报出缺少模块的错误,这里按照这样的顺序
安装。
rpm -ivh mysql-community-common-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-plugins-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-client-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-libs-compat-8.0.26-1.el7.x86_64.rpm
rpm -ivh mysql-community-server-8.0.26-1.el7.x86_64.rpm
5.执行上述命令安装好后,对MySQL进行初始化
mysqld --initialize --console
6.修改MySQL文件使其MySQL的用户有权限直接使用
chown -R mysql:mysql /var/lib/mysql/
7.启动MySQL的服务
systemctl start mysqld
8.启动MySQL,并修改MySQL密码
(1)先查看MySQL给我们设置的初始密码
cat /var/log/mysqld.log |grep localhost
(2) 进入MySQL,并输入我们刚才所查找到的初始密码
mysql -u root -p
(3)修改密码,这里是必要要修改密码的,如果不修改密码会导致报
You must reset your password using ALTER USER statement before executing
this statement.错误
(4)通过alter命令来修改MySQL的密码
alter user 'root'@'localhost' identified by '你的密码';
这里root是你的用户,localhost是你的主机,这里的密码需要设复杂一点要大于8
位由大写,小写字母,数字和下划线组成。当然如果你不想设置复杂的密码可以修改
MySQL的密码策略。
(5)退出MySQL,这里使用exit;退出,使用mysql -u root -p来重新启动MySQL
输入你刚才设置的MySQL密码。
二.安装配置Hive
1.下载hive
1.搜索清华源
这里由于hive的官网在外国,下载起来比较缓慢,这里我们采用国内的镜像源,如:清华源,阿里源等。这里我们就使用清华源进行下载hive。
在百度中搜索清华源,一般第一个就是。
2.搜索Apache
进入清华源后点击搜索,输入Apache,hive属于Apache旗下
3.进入Apache后向下翻,找到hive,并点击进入hive
4. 进入到hive后根据自己的版本选择所要下载的hive版本,这里我们要下载的是hive-3.1.3版本
5.进入到hive-3.1.3中后选择bin的文件进行下载。
2.上传hive到虚拟机中
1.是用Xftp 7上传hive到虚拟机中
3.解压Apache-hive配置环境变量
1.解压Apache-hive
1.使用cd命令移动到hive所上传的目录下
先在/opt目录下创建一个hadoop目录
mkdir /opt/hadoop
在hive所在的目录下使用解压
tar -zxvf apache-hive-3.1.3-bin.tar.gz -C /opt/hadoop/
2.配置环境变量
1.使用cd 命令移动到/opt/hadoop目录下
cd /opt/hadoop/
2.使用mv命令移动修改目录方便接下来的配置
mv apache-hive-3.1.3-bin/ hive-3.1.3/
3.配置系统变量
这里可以配置系统变量或者用户变量,这里我们直接配置系统变量就行。
使用vim /etc/profile进入到系统变量当中,这里也可以在/etc/profile.d/目录下创建一个文件,这里在/etc/profile.d/创建一个my_env.sh。
cd /etc/profile.d/
touch my_env.sh
chmod 777 my_env.sh
vim /etc/profile.d/my_env.sh
进入到my_env.sh文件中,添加hive的目录位置,这里填具体的位置
#HIVE_HOME
export HIVE_HOME=/opt/hadoop/hive-3.1.3
export PATH=$PATH:$HIVE_HOME/bin
使用source对文件进行文件进行刷新
source /etc/profile
4.配置hive的配置文件
1.配置hive-env.sh文件
1.cd到hive的conf目录下
cd /opt/hadoop/hive-3.1.3/conf/
2.移动配置文件并配置其中的内容
mv hive-env.sh.template hive-env.sh
vim hive-env.sh
进入到hive-env.sh文件中到文件最后添加如下的配置(这里的路径选择自己的hadoop目录和hive的conf目录)
点击键盘的i键
HADOOP_HOME=/opt/hadoop/hadoop-3.1.3/
export HIVE_CONF_DIR=/opt/hadoop/hive-3.1.3/conf
3.退出hive-env.sh
点击键盘Esc键,输入冒号(:),输入小写wq回车,就退出了。
2.配置hive-site.xml文件
1.创建hive-site.xml
vim hive-site.xml
2.配置hive-site.xml环境
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>hive.metastore.local</name>
<value>true</value>
</property>
<!--这里的hadoop101为mysql所存放的主机名称,如果是伪分布式的可以写localhost-->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://hadoop101:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<!--这里的root为mysql的用户名-->
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<!--这里的A1b2_c3d4e5为mysql数据库的密码-->
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>A1b2_c3d4e5</value>
</property>
</configuration>
3.退出hive-site.xml文件
5.解压mysql的jar包驱动
1.解压jar包
1.这里的jar包已经在前面下载MySQL的时候已经下载了,这里就移动到下载jar包的目录下进行jar包的解压。
tar -zxvf mysql-connector-java-8.0.26.tar.gz
2.移动jar包到hive的目录下
1.移动到解压后的jar包目录下
cd mysql-connector-java-8.0.26/
2.使用cp命令对jar包进行复制
cp mysql-connector-java-8.0.26.jar /opt/hadoop/hive-3.1.3/lib/
6.格式化hive
使用格式化命令
schematool -dbType mysql -initSchema
7.启动hive
1.启动Hadoop的进行,hive是基于Hadoop的来进行搭建的,他的数据时存储在hdfs中的,元数据存储在MySQL中。
start-dfs.sh
start-yarn.sh
2.启动hive
hive
3.常见报错,在使用hive命令是报java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused这是因为Hadoop的集群没有启动