hive3.1.2 分布式安装 (基于hadoo3.1.3+spark)

思无邪_TongCC

已于 2022-07-08 15:01:38 修改

阅读量3k

点赞数

文章标签： hive

于 2020-04-26 13:40:32 首次发布

本文链接：https://blog.csdn.net/gulugulu_gulu/article/details/105706090

版权

本教程详细介绍了如何在分布式环境中安装Hive 3.1.2，包括安装MySQL作为元数据存储，配置Hive环境，设置hive-site.xml，上传JDBC驱动，初始化Hive，启动并使用Hive，以及处理错误和解决方案。特别强调了不同节点间的配置同步和Spark的兼容性配置。

摘要由CSDN通过智能技术生成

节点信息
dockerapache-01
dockerapache-02 #master
dockerapache-03

1.首先你需要先安装一个mysql

https://downloads.mysql.com/archives/community/
hive需要采用MySQL数据库保存Hive元数据。因为Hive自带的derby存储元数据不能支持多个用户连接，实际上derby只能允许一个会话连接。
安装教程在以下链接：
https://blog.csdn.net/gulugulu_gulu/article/details/105727581

2. 下载hive安装包

https://mirror.bit.edu.cn/apache/hive/hive-3.1.2/

以下在master上进行操作

3. 配置环境变量，hive

vim /etc/profile.d/hive.sh

export HIVE_HOME=/usr/local/apache-hive-3.1.2-bin
export HIVE_CONF_DIR=${
   HIVE_HOME}/conf
export PATH=$PATH:$JAVA_HOME/bin:$HIVE_HOME/bin:$HIVE_HOME/sbin

之后在 source /etc/profile 一下

4. 配置hive-env.sh

cp hive-env.sh.template hive-env.sh

HADOOP_HOME=/usr/local/hadoop-3.1.3
JAVA_HOME=/usr/local/jdk1.8.0_161
HBASE_HOME=/usr/local/hbase-2.2.4
SPARK_HOME=/SPARK/HOME

5.conf 下新建 hive-site.xml

<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://DockerApache-01:3306/hive?createDatabaseIfNotExist=true&amp;useSSL=false</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax