Hive3.1.2版本完全分布式安装部署保姆级教程

注意:hive安装只需在主节点进行即可

Hive安转前准备条件:

(1).hadoop集群安装配置完毕并启动,可参考:hadoop3.1.3版本完全分布式集群搭建搭建_『Auraro』的博客-CSDN博客

 (2).mysql5.7.x版本安装部署完成

 (3).Hive安装所需软件包

Hive分布式部署安装所需软件包_『Auraro』的博客-CSDN博客

1,mysql安装

1.1,卸载Centos7自带的mariadb

//查看Centos7自带的mariadb
[root@node01 ~]# rpm -qa|grep mariadb      

mariadb-libs-5.5.68-1.el7.x86_64

#删除Centos7自带的mariadb
[root@node1 ~]# rpm -e mariadb-libs-5.5.68-1.el7.x86_64 --nodeps 

   
//再次查看是否删除
[root@node01 ~]# rpm -qa|grep mariadb  

1.2,安装mysql

#在/opt/目录下创建mysql文件夹来安装部署mysql

[root@node01 opt ]# mkdir mysql

#上传mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar至/opt/mysql文件目录下并解压

[root@node01 mysql ]# tar xvf  mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar

#如果不小心上传至其他文件夹可使用以下命令更换位置

[root@node01 ~ ]# mv mysql-5.7.29-1.el7.x86_64.rpm-bundle.tar /opt/mysql/

#执行安装

[root@node1 mysql]# yum -y install libaio

[root@node1 mysql]# rpm -ivh mysql-community-common-5.7.29-1.el7.x86_64.rpm mysql-community-libs-5.7.29-1.el7.x86_64.rpm mysql-community-client-5.7.29-1.el7.x86_64.rpm mysql-community-server-5.7.29-1.el7.x86_64.rpm 

---------------------------------------------------------------------------------------------------------------------------------
问题1:该步骤需要注意mysql包的版本号问题,当版本号无误时出现警告迷药之类词语以及依赖检测失败时
在该命令后面添加""--force --nodeps" 即可解决问题
---------------------------------------------------------------------------------------------------------------------------------
#执行安转过程显示

warning: mysql-community-common-5.7.29-1.el7.x86_64.rpm: Header V3 DSA/SHA1 Signature, key ID 5072e1f5: NOKEY
Preparing...                          ################################# [100%]
Updating / installing...
1:mysql-community-common-5.7.29-1.e################################# [ 25%]
2:mysql-community-libs-5.7.29-1.el7################################# [ 50%]
3:mysql-community-client-5.7.29-1.e################################# [ 75%]
4:mysql-community-server-5.7.29-1.e################                  ( 49%)

2,mysql初始化设置

2.1,mysql初始化

[root@node1 mysql]# mysqld --initialize

2.2,更改所属组

[root@node1 mysql]# chown mysql:mysql /var/lib/mysql -R

2.3,启动mysql服务

[root@node1 mysql]# systemctl start mysqld.service

2.4,查看生成的临时mysql root密码

[root@node1 mysql]# cat /var/log/mysqld.log

#此行代码的结尾是登录mysql的密码,密码是随机的,登录时请注意生成的密码
2023-08-31T13:31:18.219531Z 1 [Note] A temporary password is generated for 
root@localhost: LHBqZil6go(w

3,mysql设置

#授权远程访问 设置开机自启动

3.1,登录mysql

[root@node1 mysql]# mysql -u root -p

  #mysql登录显示
  Enter password:     #这里输入在"2.4,查看生成的临时mysql root密码"中生成的临时密码
  Welcome to the MySQL monitor.  Commands end with ; or \g.
  Your MySQL connection id is 3
  Server version: 5.7.29
  
  Copyright (c) 2000, 2020, Oracle and/or its affiliates. All rights reserved.
  
  Oracle is a registered trademark of Oracle Corporation and/or its
  affiliates. Other names may be trademarks of their respective
  owners.
  
  Type 'help;' or '\h' for help. Type '\c' to clear the current input statement.
  
  mysql> 

3.2,更新mysql的root密码设置为hadoop

mysql> alter user user() identified by "hadoop";

3.3,授权

mysql> use mysql;
  
mysql> GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'hadoop' WITH GRANT OPTION;
  
mysql> FLUSH PRIVILEGES; 

---------------------------------------------------------------------------------------------------------------------------------

#ctrl+d    退出mysql登录

#mysql的启动和关闭 状态查看 （这几个命令必须记住）
  systemctl stop mysqld
  systemctl status mysqld
  systemctl start mysqld

---------------------------------------------------------------------------------------------------------------------------------

3.4,设置开机自启服务

[root@node1 ~]# systemctl enable  mysqld    

3.5,查看是否已经设置自启动成功

[root@node1 ~]# systemctl list-unit-files | grep mysqld
#显示中存在以下一行代码即可
  mysqld.service                                enabled 

4,Hive安装部署

4.1,上传压缩包并解压

#将hive压缩包解药至/opt/文件目录下并重命名文件

[root@node1 ~]tar -zxvf apache-hive-3.1.2-bin.tar.gz -C /opt/

#重命名

[root@node1 opt]# mv apache-hive-3.1.2-bin.tar.gz hive

4.2,解决Hive与Hadoop之间guava版本差异(依赖冲突)

[root@node1 opt]# cd hive

[root@node1 hive]# rm -rf /lib/guava-19.0.jar        //guava-19.0.jar为hive3.1.2版本独有,其他版本需要自行查看并删除

[root@node1 hive]# cp /opt/hadoop/share/hadoop/common/lib/guava-27.0-jre.jar /opt/hive/lib/             //guava-27.0-jre.jar为hadoop-3.1.3版本独有,其他版本需要自行查看并添加

4.3,文件配置

4.3.1,hive环境变量配置

[root@node1 hive]# cd conf

 [root@node1 hive]# vim /etc/profile

export HIVE_HOME=/opt/hive
export PATH=$PATH:$HIVE_HOME/bin

#执行文件 

. /etc/profile

#重命名 hive-env.sh.template 文件

[root@node1 conf]# mv hive-env.sh.template hive-env.sh

#配置 hive-env.sh 文件

[root@node01 conf]# vim  hive-env.sh

#添加到第二自然段结尾
#注意修改hadoop文件路径
#注意查看路劲以及hadoop与hive文件名

export HADOOP_HOME=/opt/hadoop
export HIVE_CONF_DIR=/opt/hive/conf
export HIVE_AUX_JARS_PATH=/opt/hive/lib

4.3.2,配置 hive-site.xml 文件

#hive-site.xml为不存在文件需要我们在/opt/hive/conf文件里新创建文件并加入以下内容

[root@node01 conf]# vim  hive-site.xml

#添加

<configuration>
    <!-- 存储元数据mysql相关配置 -->
    <property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value> jdbc:mysql://hadoop01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.jdbc.Driver</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
    </property>

    <property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>hadoop</value>
    </property>

    <!-- H2S运行绑定host -->
    <property>
        <name>hive.server2.thrift.bind.host</name>
        <value>hadoop01</value>
    </property>

    <!-- 远程模式部署metastore 服务地址 -->
    <property>
        <name>hive.metastore.uris</name>
        <value>thrift://hadoop01:9083</value>
    </property>

    <!-- 关闭元数据存储授权  -->
    <property>
        <name>hive.metastore.event.db.notification.api.auth</name>
        <value>false</value>
    </property>

    <!-- 关闭元数据存储版本的验证 -->
    <property>
        <name>hive.metastore.schema.verification</name>
        <value>false</value>
    </property>
</configuration>

#复制粘贴后注意查看内容是否齐全,如果不齐全需要自行补齐

4.4.3,上传mysql jdbc驱动到hive安装包lib下

[root@node01 conf]# cd /opt/hive/lib

#mysql jdbc驱动下载可到Hive分布式部署安装所需软件包_『Auraro』的博客-CSDN博客

#mysql jdbc驱动包:mysql-connector-java-5.1.32.jar

#将mysql-connector-java-5.1.32.jar 上传到/opt/hive/lib文件目录下

5,hive初始化元数据(启动)

[root@node01 conf]# cd /opt/hive

[root@node1 hive]# bin/schematool -initSchema -dbType mysql -verbos