简介
本篇介绍Hadoop大数据平台组件中的Hive组件的搭建(搭建Hive前需搭建完成MySQL)
- 使用软件版本
apache-hive-1.1.0-bin.tar
mysql-connector-java-5.1.47.jar(百度云提取码:vk6v)
安装Hive
- 解压hive安装包,设置hive的环境变量
解压软件
tar -zxvf /opt/software/apache-hive-1.1.0-bin.tar.gz -C /usr/local/scr/
软件重命名(便于操作)
mv apache-hive-1.1.0-bin/ hive
设置hive环境变量
vi /etc/profile
添加环境变量
#.....hive.....
export HIVE_HOME=/usr/local/scr/hive
export PATH=$PATH:$HIVE_HOME/bin
使环境变量生效
source /etc/profile
- 拷贝驱动文件到 ‘{HIVE_HOME}/lib’ 路径下
cp /opt/software/mysql-connector-java-5.1.47.jar /usr/local/scr/hive/lib/
- 创建HDFS文件夹(如有需要可以更改路径,在hive-site.xml中修改)
因为在hive-site.xml中有如下HDFS相关设置,因此我们需要先在HDFS中创建对应目录并赋予权限
<property>
<name>hive.metastore.warehouse.dir</name>
<value>/user/hive/warehouse</value>
</property>
<property>
<name>hive.exec.scratchdir</name>
<value>/tmp/hive</value>
</property>
[root@master1 ~]# hadoop fs -mkdir -p /user/hive/warehouse
[root@master1 ~]# hadoop fs -mkdir -p /tmp/hive
[root@master1 ~]# hadoop fs -chmod -R 777 /user/hive/warehouse
[root@master1 ~]# hadoop fs -chmod -R 777 /tmp/hive
- 修改配置文件
复制 hive-default.xml.template 改名为 hive-site.xml文件并修改
cp hive-default.xml.template hive-site.xml
修改相关配置
- 将 hive-site.xml中的{system:java.io.tmpdir}改为hive的本地临时目录,将{system:user.name}改为用户名。(共有4处需要修改)
没有hive的本地临时目录,先到hive目录下创建本地临时目录 tmp
<property>
<name>hive.exec.local.scratchdir</name>
<value>/usr/local/scr/hive/tmp/root</value>
</property>
<property>
<name>hive.downloaded.resources.dir</name>
<value>/usr/local/scr/hive/tmp/${hive.session.id}_resources</value>
</property>
<property>
<name>hive.server2.logging.operation.log.location</name>
<value>/usr/local/scr/hive/tmp/root/operation_logs</value>
</property>
<property>
<name>hive.querylog.location</name>
<value>/usr/local/scr/hive/tmp/root</value>
</property>
- 数据库相关配置
# 数据库jdbc地址
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master2:3306/hive?createDatabaseIfNotExist=true&characterEncoding=UTF-8&useSSL=false</value>
</property>
# 数据库的驱动类名称
# 新版本8.0版本的驱动为com.mysql.cj.jdbc.Driver
# 旧版本5.x版本的驱动为com.mysql.jdbc.Driver
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.cj.jdbc.Driver</value>
</property>
# 数据库用户名
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
# 数据库密码
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>passwd</value>
</property>
- 配置hive-log4j2.properties
复制并更名hive-log4j2.properties.template为 hive-log4j2.properties文件
cp hive-log4j.properties.template hive-log4j.properties
修改配置
hive.log.dir=/usr/local/scr/hive/tmp/root
- 配置hive-env.sh文件
复制并更名hive-env.sh.template为 hive-env.sh文件
[root@master1 conf]# cp hive-env.sh.template hive-env.sh
[root@master1 conf]# vi hive-env.sh
修改配置
# Set HADOOP_HOME to point to a specific hadoop install directory
export HADOOP_HOME=/usr/local/scr/hadoop
# Hive Configuration Directory can be controlled by:
export HIVE_CONF_DIR=/usr/local/scr/hive/conf
# Folder containing extra ibraries required for hive compilation/execution can be controlled by:
export HIVE_AUX_JARS_PATH=/usr/local/scr/hive/lib
- 启动hive
进入mysql,创建Hive数据库
注意:将{HADOOP_HOME}/share/hadoop/yarn/lib目录下的jline-0.9.94.jar替换成hive/lib下的jline-2.12.jar
cp /usr/local/scr/hive/lib/jline-2.12.jar /usr/local/scr/hadoop/share/hadoop/yarn/lib/
mv jline-0.9.94.jar /media/
进入hive的bin目录,进行初始化操作
schematool -dbType mysql -initSchema
启动hive
[root@master1 ~]# hive
最后,记得点赞哦!!!ღ( ´・ᴗ・` )比心!!!
系列文章:
Hadoop HA高可用+Zookeeper搭建 一站式解決方案!!!
【Hadoop大数据平台组件搭建系列】——Hadoop完全分布式搭建(基于CentOS7.4) 一站式解决!!!
【Hadoop大数据平台组件搭建系列(一)】——Zookeeper组件配置
【Hadoop大数据平台组件搭建系列(二)】——Sqoop组件配置
【Hadoop大数据平台组件搭建系列(三)】——Hive组件配置
【Hadoop大数据平台组件搭建系列(四)】——Kafka组件配置
【Hadoop大数据平台组件搭建系列(五)】——MySQL组件配置(tar源码安装)
【Hadoop大数据平台组件搭建系列(六)】——Spark完全分布式组件配置
【Hadoop大数据平台组件搭建系列(七)】——HBase完全分布式组件配置