Hive 3.x|第二三天|Hive安装

安装Hive

1.解压Hive包

1. 把 apache-hive-3.1.2-bin.tar.gz 上传到 linux 的/opt/software 目录下，再进行解压。

tar -zxvf  /opt/software/apache-hive-3.1.2-bin.tar.gz -C /opt/module

2. 把apache-hive-3.1.2-bin改名为hive

3. 添加环境变量

sudo vim /etc/profile.d/my_env.sh

内容为

#HIVE_HOME
export HIVE_HOME=/opt/module/hive
export PATH=$PATH:$HIVE_HOME/bin

4. source环境变量后，解决日志jar包冲突

mv $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.jar $HIVE_HOME/lib/log4j-slf4j-impl-2.10.0.bak

5. 然后在Hive目录下初始化元数据库

bin/schematool -dbType derby -initSchema

2.启动Hive

1. 首先需要启动hdfs

2. 启动hive

3.安装MySQL

1. 检查当前系统有无安装过mysql，如果有，用rpm -qa|grep mariadb清除干净。

2. 将 MySQL 安装包拷贝到/opt/software 目录下，下载地址http://ftp.iij.ad.jp/pub/db/mysql/Downloads/MySQL-5.7/

3. 解压tar包

tar -xf mysql-5.7.28-1.el7.x86_64.rpm-bundle.tar

4. 在安装目录下执行 rpm 安装

sudo rpm -ivh mysql-community-common-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-libs-compat-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-client-5.7.28-1.el7.x86_64.rpm
sudo rpm -ivh mysql-community-server-5.7.28-1.el7.x86_64.rpm

5. 初始化数据库

sudo mysqld --initialize --user=mysql

6. 查看临时生成的 root 用户的密码：hBUkV%:sg6B(
   
7. 启动 MySQL 服务:sudo systemctl start mysqld
8. 登录 MySQL 数据库:mysql -uroot -p
9. 必须先修改 root 用户的密码,否则执行其他的操作会报错:set password = password(“新密码”);
10. 10.修改 mysql 库下的 user 表中的 root 用户允许任意 ip 连接: update mysql.user set host=‘%’ where user=‘root’;flush privileges;

4.Hive 元数据配置到 MySQL

1. 将 MySQL 的 JDBC 驱动拷贝到 Hive 的 lib 目录下:cp /opt/software/mysql-connector-java-5.1.37.jar $HIVE_HOME/lib
2. 在$HIVE_HOME/conf 目录下新建 hive-site.xml 文件：vim $HIVE_HOME/conf/hive-site.xml，添加如下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- jdbc 连接的 URL -->
	<property>
		<name>javax.jdo.option.ConnectionURL</name>
		<value>jdbc:mysql://hadoop102:3306/metastore?useSSL=false</value>
	</property>
 	<!-- jdbc 连接的 Driver-->
	<property>
		<name>javax.jdo.option.ConnectionDriverName</name>
		<value>com.mysql.jdbc.Driver</value>
	</property>
	<!-- jdbc 连接的 username-->
	<property>
		<name>javax.jdo.option.ConnectionUserName</name>
		<value>自己的用户名</value>
	</property>
	<!-- jdbc 连接的 password -->
	<property>
		<name>javax.jdo.option.ConnectionPassword</name>
		<value>自己的密码</value>
	</property>
	<!-- Hive 元数据存储版本的验证 -->
	<property>
		<name>hive.metastore.schema.verification</name>
		<value>false</value>
	</property>
	<!--元数据存储授权-->
	<property>
		<name>hive.metastore.event.db.notification.api.auth</name>
		<value>false</value>
	</property>
	<!-- Hive 默认在 HDFS 的工作目录 -->
	<property>
		<name>hive.metastore.warehouse.dir</name>
		<value>/user/hive/warehouse</value>
	</property>
</configuration>

3. 登陆 MySQL： mysql -uroot -p密码
4. 新建 Hive 元数据库：create database metastore;quit;
5. 初始化 Hive 元数据库： schematool -initSchema -dbType mysql -
   verbose
   

5.再次启动 Hive

1. 启动hive： bin/hive

使用元数据服务的方式访问 Hive

1. 在 hive-site.xml 文件中添加如下配置信息：vi conf/hive-site.xml

	<!-- 指定存储元数据要连接的地址 -->
	<property>
		<name>hive.metastore.uris</name>
		<value>thrift://hadoop102:9083</value>
	</property>

2. 启动 metastore：hive --service metastore，注意: 启动后窗口不能再操作，需打开一个新的 shell 窗口做别的操作
3. 启动hive：bin/hive

使用 JDBC 方式访问 Hive

1. 在 hive-site.xml 文件中添加如下配置信息：vi conf/hive-site.xml

	<!-- 指定 hiveserver2 连接的 host -->
	<property>
		<name>hive.server2.thrift.bind.host</name>
		<value>hadoop102</value>
	</property>
	<!-- 指定 hiveserver2 连接的端口号 -->
	<property>
		<name>hive.server2.thrift.port</name>
		<value>10000</value>
	</property>

2. 启动 hiveserver2：bin/hive --service hiveserver2
3. 启动 beeline 客户端：bin/beeline -u jdbc:hive2://hadoop102:10000 -n 用户名
4. 此时连接不上，去百度原因，得知应该修改hdfs-site.xml文件和core-site.xml的配置，再进行分发。
   其中hdfs-site.xml添加

<property>
	<name>dfs.webhdfs.enabled</name>
    <value>true</value>
</property>

其中core-site.xml添加

<property>
	<name>hadoop.proxyuser.用户名.hosts</name>
    <value>*</value>
</property>
<property>
    <name>hadoop.proxyuser.用户名.groups</name>
    <value>*</value>
</property>

然后分发已经修改的文件：xsync etc/hadoop/
重新启动集群：myhadoop.sh stop;myhadoop.sh start;
记住还要开启MeatStore：hive --service metastore
此时总算连接成功：

hive 服务启动脚本

1. 编写启动服务脚本：vim $HIVE_HOME/bin/hiveservices.sh 内容如下

#!/bin/bash
HIVE_LOG_DIR=$HIVE_HOME/logs
if [ ! -d $HIVE_LOG_DIR ]
then
	mkdir -p $HIVE_LOG_DIR
fi
#检查进程是否运行正常，参数 1 为进程名，参数 2 为进程端口
function check_process()
{
	pid=$(ps -ef 2>/dev/null | grep -v grep | grep -i $1 | awk '{print $2}')
	ppid=$(netstat -nltp 2>/dev/null | grep $2 | awk '{print $7}' | cut -d '/' -f 1)
	echo $pid
	[[ "$pid" =~ "$ppid" ]] && [ "$ppid" ] && return 0 || return 1
}
function hive_start()
{
	metapid=$(check_process HiveMetastore 9083)
	cmd="nohup hive --service metastore >$HIVE_LOG_DIR/metastore.log 2>&1 &"
	[ -z "$metapid" ] && eval $cmd || echo "Metastroe 服务已启动"
	server2pid=$(check_process HiveServer2 10000)
	cmd="nohup hiveserver2 >$HIVE_LOG_DIR/hiveServer2.log 2>&1 &"
	[ -z "$server2pid" ] && eval $cmd || echo "HiveServer2 服务已启动" 
}
function hive_stop()
{
	metapid=$(check_process HiveMetastore 9083)
	[ "$metapid" ] && kill $metapid || echo "Metastore 服务未启动"
	server2pid=$(check_process HiveServer2 10000)
	[ "$server2pid" ] && kill $server2pid || echo "HiveServer2 服务未启动" 
}
case $1 in
"start")
	hive_start
	;;
"stop")
	hive_stop
	;;
"restart")
	hive_stop
	sleep 2
	hive_start
	;;
"status")
	check_process HiveMetastore 9083 >/dev/null && echo "Metastore 服务运行正常" || echo "Metastore 服务运行异常"
	check_process HiveServer2 10000 >/dev/null && echo "HiveServer2 服务运行正常" || echo "HiveServer2 服务运行异常"
	;;
*)
	echo Invalid Args!
	echo 'Usage: '$(basename $0)' start|stop|restart|status'
	;;
esac

2. 添加执行权限： chmod +x $HIVE_HOME/bin/hiveservices.sh
3. 启动Hive后台服务：hiveservices.sh start
   

修改配置直连hive

在vim $HIVE_HOME/conf/hive-site.xml 里，注释以下内容，我这边不方便注释，直接删掉，后续有用再加上。

        <!-- 指定存储元数据要连接的地址 -->
        <property>
                <name>hive.metastore.uris</name>
                <value>thrift://hadoop102:9083</value>
        </property> 
        <!-- 指定 hiveserver2 连接的 host -->
        <property>
                <name>hive.server2.thrift.bind.host</name>
                <value>hadoop102</value>
        </property>
        <!-- 指定 hiveserver2 连接的端口号 -->
        <property>
                <name>hive.server2.thrift.port</name>
                <value>10000</value>
        </property>