Hadoop集群搭建及配置⑨——Hive 可靠的安装配置，远程连接MySQL

---

Mysql+Hive：1、Centos7 MySQL安装 —— 用网盘简单安装

2、Hadoop集群搭建及配置⑨——Hive 可靠的安装配置

3、Spark SQ操作 MySQL数据库和 Hive数据仓库

4、Spark SQL RDD基本操作、RDD—DataFrame、API MySQL

5、Spark SQL RDD、DataFrame、Dataset、反射推断机制 Schema 操作！！

---

云盘链接：https://pan.baidu.com/s/1u2TU5xhxLzv2GgENHdREuQ
提取码：z7pu

---

8、Hadoop集群搭建及配置⑥ —— Hadoop组件安装及配置

9、Hadoop集群搭建及配置⑦—— Spark&Scala安装配置

10、Hadoop集群搭建及配置⑧——Hbase的安装配置

11、eclipse配置连接Hadoop

12、eclipse 实现 Hdfs java API

13、eclipse 实现 HBase java API

14、Hbase java API 实现增删改查

---

一、安装配置Hive

1.1 解压hive

把Hive安装包apache-hive-2.1.1-bin 拖进shell 目录下
创建hive文件夹
mkdir -p /usr/hive

# 1.解压文件放在 /usr/hive目录下
tar zxvf  ./apache-hive-2.1.1-bin.tar.gz -C /usr/hive/

# 2.重命名hive解压文件
mv /usr/hive/apache-hive-2.1.1-bin/ /usr/hive/hive-2.1.1

1.2 配置环境变量（master 和 slave1）

vim /etc/profile
# hive
export HIVE_HOME=/usr/hive/hive-2.1.1
export PATH=$PATH:$HIVE_HOME/bin

# 2.保存退出生效环境变量
source /etc/profile 

查看hive是否安装成功 hive --version

1.3 配置 hive-env.sh

# 将 hive-env.sh.template改名为 hive-env.sh
cp hive-env.sh.template hive-env.sh
vi hive-env.sh

# 修改HADOOP_HOME的路径
export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
# 修改HIve配置文件的路径
export HIVE_CONF_DIR=/usr/hive/hive-2.1.1/conf
# 修改Hive需要jar包的路径
export HIVE_AUX_JARS_PATH=/usr/hive/hive-2.1.1/lib

1.4 将hive复制到slave1中：

scp -r /usr/hive/hive-2.1.1/ root@slave1:/usr/hive/

1.5 配置 hive-site.xml（slave1）

slave1作为服务器端。需要相关连接的数据库的配置。比如ip、端口、数据库用户名、密码等。

# 进入conf目录 
cd /usr/hive/hive-2.1.1/conf
vi hive-site.xml

# 添加以下配置：
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://master:3306/hive?createDatabaseIfNotExist=true</value>
    <description>数据库连接JDBC的URL地址</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>数据库连接Driver,class name for a JDBC metastore</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
    <description>Mysql数据库用户名</description>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>abc123456</value>
    <description>mysql数据库密码</description>
  </property>
  <property>
   <name>datanucleus.schema.autoCreateAll</name>
   <value>true</value>
   <description>数据中心数据库代码自动生成</description>
 </property>
 <property>
   <name>hive.metastore.schema.verification</name>
   <value>false</value>
   <description>数据库不使用metastore</description>
  </property>
</configuration>

---

1.6 Hive与Mysql通信 (slave1)

因为服务器端需要和Mysql通信，所以服务器端的驱动程序 mysql-connector-java-5.1.46-bin.jar 到hive的lib目录下。

1.6.1 maven配置下载mysql驱动器

在 pom.xml 添加配置：

<dependency>
    <groupId>mysql</groupId>
    <artifactId>mysql-connector-java</artifactId>
    <version>5.1.46</version>
</dependency>

在IDEA下载完成后，在External Libraiesc -> 右键 mysql-connector-java-5.1.46-bin -> Find in Path(查找路径) -> 复制路径(…\repository\ mysql\mysql-connector-java )

把 mysql-connector-java-5.1.46-bin.jar 传输到 虚拟机slave1节点的 /usr/hive/hive-2.1.1/lib目录下。

1.7 解决版本冲突和jar包依赖问题 (master)

由于客户端需要和Hadoop通信，所以需要更改Hadoop中jline的版本。即保留一个高版本的jline jar包，从hive的lib包中拷贝到Hadoop中lib位置为：
/usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib.

cp /usr/hive/hive-2.1.1/lib/jline-2.12.jar /usr/hadoop/hadoop-2.7.3/share/hadoop/yarn/lib/

1.8 配置 hive-site.xml（master）

# 在 msater 执行：
cd /usr/hive/hive-2.1.1/conf/
vi hive-site.xml

1. 添加配置：

<configuration>
<!-- Hive产生的元数据存放位置-->
<property>
 <name>hive.metastore.warehouse.dir</name>
 <value>/user/hive/warehouse</value>
</property>

<!--连接服务器-->
<property>
 <name>hive.metastore.uris</name>
 <value>thrift://slave1:9083</value>
</property>
</configuration>

3. 保存退出。

<!-- 使用本地服务连接Hive,默认为true，！！可不加！！-->
<property>
 <name>hive.metastore.local</name>
 <value>false</value>
 <description>在0.10,0.11之后的HIVE版本hive.metastore.local 属性不再使用</description>
</property>

---

二、启动Hive

2.1 hive目录下启动Hive服务端（slave1）

slave1 作为服务端开启
输入：bin/hive --service metastore

2.2 hive 目录下启动 Hive客户端（master）

master 作为客户端开启 hive，bin/hive


总结下：Hive客户端在master，Hive服务端在slave1是因为，降低资源占有率，提高查询效率。以上hive安装完成，希望对你有所帮助。