hive4.0.0部署以及与MySQL8.4连接

在开始之前，需要在主机上准备好MySQL数据库，并且已经完成了hdfs和yarn的部署

步骤1：MySQL的配置

以root用户登录mysql后执行以下命令：

grant all privileges on *.* to 'root'@'%' with grant option;
flush privileges;

这样我们就授权root用户远程登录并且密码为你登录mysql所使用的密码。

步骤2：配置hadoop

在hadoop的core-site.xml文件中添加配置：

    <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
    </property>

步骤3：下载解压Hive

点击链接，寻找要下载的Hive版本，下载压缩包。

上传到主机服务器上（我下载在node1的/export/server/目录下）

解压

tar -zxvf 压缩包 -C 要解压到的路径

如果觉得解压后的目录名字过长也可以用软链接连接到目录（后面我将目录的路径简写为hive）

步骤4：提供MySQL Driver包

下载MySQL驱动包（根据自己的系统选择）

https://dev.mysql.com/downloads/connector/j/

将下载好的驱动jar包，上传到主机上并移动到/hive/lib目录下

步骤5：配置Hive

在hive的conf目录内，有个hive-env.sh.template，将其改名为hive-env.sh,并在其内添加如下配置:

export HADOOP_HOME=/export/server/hadoop
export HIVE_CONF_DIR=/export/server/hive
export HIVE_AUX_JARS_PATH=/export/server/hive/lib

具体路径根据自己的配置进行更改。

在hive的conf目录内，新建hive-site.xml文件，填入以下内容：

<configuration>
<!-- 存储元数据mysql相关配置 -->
<property>
        <name>javax.jdo.option.ConnectionURL</name>
        <value>jdbc:mysql://node1:3306/hive3?createDatabaseIfNotExist=true&amp;useSSL=false&amp;useUnicode=true&amp;characterEncoding=UTF-8&amp;allowPublicKeyRetrieval=true</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionDriverName</name>
        <value>com.mysql.cj.jdbc.Driver</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionUserName</name>
        <value>root</value>
</property>

<property>
        <name>javax.jdo.option.ConnectionPassword</name>
        <value>your_password</value>
</property>

<!-- H2S运行绑定host -->
<property>
    <name>hive.server2.thrift.bind.host</name>
    <value>node1</value>
</property>

<!-- 远程模式部署metastore metastore地址 -->
<property>
    <name>hive.metastore.uris</name>
    <value>thrift://node1:9083</value>
</property>

<!-- 关闭元数据存储授权  --> 
<property>
    <name>hive.metastore.event.db.notification.api.auth</name>
    <value>false</value>
</property>
</configuration>

your_password改为root登录mysql所用的密码。

步骤6：初始化元数据库

转到hive目录执行元数据初始化命令：

bin/schematool -initSchema -dbType mysql -verbose

是否初始化成功的检验方法：

登录mysql，查看数据库，如果有hive3数据库，使用hive3数据库后查看表，如果内部有表则初始化成功。

步骤7：启动Hive（使用Hadoop用户）

• 在启动前，需要将hdfs和yarn集群启动，并确保hive文件夹所属用户为hadoop。
• 在hive目录下创建一个hive的日志文件夹，

mkdir logs

• 启动元数据管理服务（必须启动，否则无法工作）

前台启动：bin/hive --service metastore
后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &
          nohup bin/hive --service hiveserver2 >> logs/hiveserver2.log 2>&1 &

• 启动客户端

在hive目录下执行

bin/hive

当出现以下输出说明已经成功启动了Hive Beeline客户端

• 使用命令连接到Hive Metastore

!connect jdbc:hive2://node1:10000/default

username和password参考hive-site.xml文件。

显示数据库：

show databases;

如果有default数据库则启动成功。