Centos7下搭建hive集群并配置成自启动服务

一、Centos7下搭建hive集群
注意：hive集群的搭建与hadoop版本有密切关系 ( 本篇博客的 hadoop版本为 2.7.1,所以hive要用 hive 2.3.6 , 而 hadoop 2.5.2 配 hive1.2.2 , 其它的版本可自测)

1. 首先看一下我的环境拓扑图
2. 简单了解hive多用户模式原理

3. 开始搭建hive集群

(1) 确保 node1上的 mysql安装成功，且可以远程登录，并设置好密码

(2) 在node2中安装与配置 hive CLI 客户端

(3)下载hive的安装包，并上传hive安装包到node2中 /usr/local目录下

官网下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hive/
hive2.3.6下载地址(提取码：sbty)：https://pan.baidu.com/s/1NJAgWqEIbNY1exSH_meF9g

(4) 解压hive压缩包并重命名

解压命令：tar -xvf apache-hive-2.3.6-bin.tar.gz
重命名命令：mv apache-hive-2.3.6-bin/ hive236

(5) 配置环境变量

编辑环境变量： vi /etc/profile

export HIVE_HOME=
export PATH=$PATH:$HIVE_HOME/bin

刷新环境变量：source /etc/profile

(6) 到hive中conf目录中创建 hive-site.xml文件

进入命令： cd /usr/local/hive236/conf
编辑命令： vi hive-site.xml
注意：mysql8以上版本驱动应改为com.mysql.cj.jdbc.Driver

metadata即元数据：元数据包含用Hive创建的database、tabel等的元信息，元数据存储在关系型数据库中。如Derby、MySQL等。

Metastore服务：客户端连接metastore服务，metastore再去连接MySQL数据库来存取元数据。有了metastore服务，就可以有多个客户端同时连接，而且这些客户端不需要知道MySQL数据库的用户名和密码，只需要连接metastore 服务即可。

修改自己的mysql的节点ip与端口，账号密码，以及metastore服务节点位置端口。

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<property> 
		<name>hive.metastore.warehouse.dir</name> 
		<value>/user/hive/warehouse</value>
	</property>
	<property>
		<name>javax.jdo.option.ConnectionURL</name> 
		<value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionDriverName</name> 
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionUserName</name> 
		<value>mysql账号</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionPassword</name> 
		<value>密码</value>
	</property> 
	<property> 
		<name>hive.metastore.local</name> 
		<value>false</value>
	</property>
	<property>
		<name>hive.metastore.uris</name> 
		<value>thrift://node3:9083</value>
	</property>
</configuration>

4. 知识点补充 ：Metastore有三种配置方式

(1) Embedded Metastore Database (Derby) 内嵌模式
内嵌模式使用的是内嵌的Derby数据库来存储元数据，也不需要额外起Metastore服务。这个是默认的，配置简单，但是一次只能一个客户端连接，适用于用来实验，不适用于生产环境。配置项如下：

(2) Local Metastore Server 本地元存储
本地元存储和远程元存储都采用外部数据库来存储元数据，目前支持的数据库有：MySQL、Postgres、Oracle、MS SQL Server.在这里我们使用MySQL。
本地元存储不需要单独起metastore服务，用的是跟hive在同一个进程里的metastore服务。配置项如下：

(3) Remote Metastore Server 远程元存储
远程元存储需要单独起metastore服务，然后每个客户端都在配置文件里配置连接到该metastore服务。远程元存储的metastore服务和hive运行在不同的进程里。配置项如下：

5. 将 node2 上的 hive236目录同步到 node3, node4节点上
同步命令：scp -r hive236/ root@node3:/usr/local/
同步命令：scp -r hive236/ root@node4:/usr/local/

6. 将node4与node2 都配置成hive客户端（由于node4的hive是从node2同步过来的，所以无需更改，只要配置一下环境变量即可）
(1)在node3，node4节点上配置环境变量
编辑环境变量命令：vi /etc/profile
在环境变量中加入

export HIVE_HOME=
export PATH=$PATH:$HIVE_HOME/bin

刷新环境变量命令：source /etc/profile

7. 如果要在 node3 上创建 metastore server,则按以下配置( 为了提高更多的可访问性，可以在其它节点上也配置 metastore server服务 )

记得配置node3的环境变量
到node3节点中hive的conf目录下创建 hive-site.xml文件

进入命令： cd /usr/local/hive236/conf
编辑命令： vi hive-site.xml
注意：mysql8以上版本驱动应改为com.mysql.cj.jdbc.Driver

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!--  在hdfs上文件的位置  -->
	<property> 
		<name>hive.metastore.warehouse.dir</name> 
		<value>/user/hive/warehouse</value>
	</property>
	<!-- 元数据的位置 -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name> 
		<value>jdbc:mysql://node1:3306/hive?createDatabaseIfNotExist=true</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionDriverName</name> 
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionUserName</name> 
		<value>mysql账号</value>
	</property>
	<property> 
		<name>javax.jdo.option.ConnectionPassword</name> 
		<value>密码</value>
	</property> 
    <property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
    </property>
    <property>
		<name>datanucleus.schema.autoCreateAll</name>
		 <value>true</value>
    </property>
</configuration>

将mysql驱动包上传到node3的hive236的lib目录下， 由metastore server访问数据库
注意mysql版本，我的是5.5.47，所以jar包也对应是5点几的版本，可到本地maven仓库中找到对应jar包
上传后，启动node3服务端，命令：hive --service metastore &

之后执行初始化库命令: schematool -dbType mysql -initSchema

8. 测试hive服务

(1) 查看mysql中数据库是否创建出来了
连接mysql命令：mysql -uroot -pa
查看database命令：show databases;

(2) 在node2或node4客户端测试，命令：hive

如果遇到这个错误(未遇到可跳过)： java.lang.IncompatibleClassChangeError: Found class jline.Terminal, but interface was expected
解决方法：将hive下的新版本jline的JAR包拷贝到hadoop下
命令：cp /usr/local/hive122/lib/jline-2.12.jar /usr/local/hadoop252/share/hadoop/yarn/lib/
再将原来 hadoop271/share/hadoop/yarn/lib/jline-0.9.94.jar 改名
命令：mv jline-0.9.94.jar jline-0.9.94.jar.bak

(3) 在node2或者node4中测试与验证 hive
在hive中使用sql进行操作
命令：create database yc74;

使用yc74这个database：use yc74;
在hdfs中创建目录：create table produce_hive( id int, name varchar(20) );

查看表格：show tables;
插入数据：insert into produce_hive values(1, 'apple');

查看数据：select * from produce_hive;

补充知识点：在进行以上操作时，请注意以下几点(补充部分，可选)
1.哪些操作生成了mapreduce操作
(1) insert操作生成了mapreduce
(2) 其它操作只对mysql操作了元数据
(3) 观察: http://node3:8088
2.观察 hdfs中的目录变化情况，并打开生成的文件的内容
3.到mysql中查看hive对应的库及表
命令：select * from DBS;
命令：select * from TBLS;
命令：select * from COLUMNS_V2;

二、将metastore server配置成自启动服务

1. 在node3的 /etc/rc.d/init.d目录下，创建一个 metastoreServer 脚本

进入目录命令：cd /etc/rc.d/init.d
编辑脚本命令：vi metastoreServer.sh

#!/bin/sh
#chkconfig:  345 90 90
#description: hive metastore
#processname: hive_metastore_server

source /etc/profile

# 启动服务的时间
DATE_STR=`/bin/date  "+%Y%m%d%H%M%S"`

# 日志文件名称（包含路径）
HIVE_METASTORE_LOG=${HIVE_HOME}/logs/hiveserver2-${DATE_STR}.log

/usr/bin/nohup ${HIVE_HOME}/bin/hive --service metastore >>${HIVE_METASTORE_LOG} 2>&1 &

2. 改变权限，加入执行权限
加入权限命令：chmod +x /etc/rc.d/init.d/metastoreServer.sh

3. 加入到chkconfig启动服务
加入命令：chkconfig --add metastoreServer.sh
查看命令：chkconfig --list

4. 启动服务，命令：service metastoreServer start