Hive分布式集群安装
1 资源
提取码:lzm1
2 环境
IP | HOST |
---|---|
104.21.51.1 | zk01 |
104.21.51.2 | zk02 |
104.21.51.3 | zk03 |
3 安装Hadoop
Hadoop分布式集群搭建(含Zookeeper安装)
4 安装MySQL
Hive默认的metadata(元数据)是存储在Derby里面的,但是有一个弊端就是同一时间只能有一个Hive实例访问。
所以我们选择使用MySQL来替换Derby,实现多实例同时访问。
5 Hive集群安装
5.1 解压安装包
mkdir /hive
tar -zxvf apache-hive-3.1.1-bin.tar.gz -C /hive
5.2 设置环境变量并使之生效
vi /etc/bashrc
export HIVE_HOME=/hive/apache-hive-3.1.1-bin
export PATH=$HIVE_HOME:$PATH
source /etc/bashrc
5.3 拷贝MySQL驱动到lib目录
cd $HIVE_HOME/lib
mysql-connector-java-8.0.18.jar
提取码:r0ch
5.4 修改配置文件
vi $HIVE_HOME/conf/hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<!-- JDBC连接字符串 -->
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://104.21.51.1:3306/hive?createDatabaseIfNotExist=true&characterEncoding=utf8</value>
</property>
<!-- JDBC驱动 -->
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
<!-- 连接MySql的用户名 -->
<property>