ubuntu下Hive3.1.3与MySQL8的配置与安装

基础环境

• Hadoop 3.3.6 安装教程
• spark 3.0.0
• hive 3.1.3 hive版本选择
• Mysql 8
• mysql-connector-j-8.0.33 jdbc driver选择
• 如网络环境不佳，可选择我已下载好的版本，无需积分，地址

安装MySQL（若有请自行删除）

• 导入mysql包

wget https://dev.mysql.com/get/mysql-apt-config_0.8.17-1_all.deb
sudo dpkg -i mysql-apt-config_0.8.17-1_all.deb

• 更新包列表并安装MySQL

sudo apt update
sudo apt install mysql-server

• 运行安全配置脚本

sudo mysql_secure_installation

• 安装过程

  安装过程选择安装的数据库类型，具体选择配置根据自己需求

选择mysql安装的版本
1. mysql-8.0
选择密码安全强度，这个会导致后续修改密码的验证的
选择大于>8的

• 配置连接密码

  • 关闭数据库安全验证

  sudo systemctl stop mysql
  sudo mysqld_safe --skip-grant-tables &
  

  • 启动数据库并进入

  sudo systemctl start mysql
  sudo mysql --user=root mysql
  

  • 修改用户密码并应用

  # 这个密码强度和你安装时选择的强度有关
  ALTER USER 'root'@'localhost' IDENTIFIED WITH mysql_native_password BY 'PassWord@#123';
  FLUSH PRIVILEGES;
  

安装配置HIVE

• 下载 hive 并解压，hive 版本要与 Hadoop 匹配
• 在 apache 官网选择
• 官网地址： https://downloads.apache.org/hive/

# 使用wget下载指定版本hive，在官网复制下载链接进行下载
wget https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gz
# 解压
tar -xzvf apache-hive-3.1.3-bin.tar.gz

• 移动并修改名字，我这里选择的是/home/wzj/hive，可自行选择指定位置

mv apache-hive-3.1.3-bin /home/wzj/hive

• 配置环境变量
• 在~/.bashrc或~/.profile文件中添加以下环境变量

# 目录根据自己hive所在目录
export HIVE_HOME=/home/wzj/hive
export PATH=$PATH:$HIVE_HOME/bin

• 下载连接 mysql 的 jdbc 的 jar 包
• 去 maven 官网选择指定版本的 jar 包 官方下载源
• 第二种选择需要点科技，有界面化选择
• mysql 的 jar 包的选择地址： 界面化选择下载

• 点击选择的指定版本后（我这里选择的是 8.0.33），点击 jar 右键复制下载链接
  

• 到 hive/lib 目录进行下载

cd $HIVE_HOME/lib/
wget https://repo1.maven.org/maven2/com/mysql/mysql-connector-j/8.0.33/mysql-connector-j-8.0.33.jar

配置Hive元数据存储到MySQL

• 进入 mysql 创建一个数据库 hive(可自行选择) 提供 hive 使用

create database hive;

• 配置 hive-site.xml, 密码和数据库需要自行修改

• 在hive/conf 下创建hive-site.xml 并添加配置

vim $HIVE_HOME/hive/conf/hive-site.xml

• 配置文件内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true</value>
    <description>metadata storage in a MySQL database</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>PassWord@#123</value>
  </property>
  <property>
    <name>hive.executable.jar</name>
    <value>${hive.home}/lib/hive-exec-*.jar</value>
  </property>
</configuration>

• 数据初始化（重点）

schematool -dbType mysql -initSchema -verbose

启动HIVE，启动前必须启动Hadoop

• 启动hadoop

start-all.sh

• 启动 hive

hive

参考文章：https://blog.csdn.net/W_chuanqi/article/details/130242723