专题:大数据单机学习环境搭建和使用
大数据单机学习环境搭建(3)Hive安装和启用
1.Java和Hadoop安装
见我的另一篇文章 Hadoop本地单节点安装
2.MySQL安装
见我的另一篇文章 Linux使用yum安装Mysql
3.Hive安装包和依赖包
Hive官网下载,懒得下载可白嫖。见免费资源 Hive安装包和依赖包,提取码:o1ms
4.Hive安装、配置、启用
4.1安装
# 4.hive解压安装
tar -zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive
# 4.1配置环境变量/etc/profile
vim /etc/profile
# 在最后添加
export HIVE_HOME=/opt/hive
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH
# 更新配置文件使其立即生效
source /etc/profile
4.2配置
# 4.2配置hive-log4j2.properties和hive-site.xml
cd /opt/hive/conf/
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-site.xml # 新建
# 配置hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://192.168.0.107:3306/hive?createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>pass</value>
</property>
</configuration>
4.3初始化数据库
# 4.3初始化数据库
# 1)解压资源中的mysql-connector-java.tar.gz文件到本地,找到mysql-connector-java-8.0.17.jar
# 2)mysql-connector-java-8.0.17.jar到$HIVE_HOME/lib目录下
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # hive和mysql服务器都要执行,mysql要重启服务
cd /opt/hive/bin/
schematool -dbType mysql -initSchema # 元数据保存到mysql设置
# 可能报错:sqlyog连接时,报1130错误,是由于没有给远程连接的用户权限问题
# 解决方法:更改 mysql数据库user表host,从localhost改成'%'
mysql -uroot -p
# 进入mysql后依次执行
use mysql;
select 'host' from user where user='root';
update user set host = '%' where user ='root';
flush privileges;
schematool -dbType mysql -initSchema
命令执行结果有了下方信息,才算成功。方可继续,否则需要查看1.是否正确添加jar包,2.是否修改mysql数据库user表host。
4.4查看mysql作为hive的元数据存储是否成功
# 4.4查看mysql的hive库中是否有很多表,有则hive安装成功
mysql -uroot -p
use hive;
show tables;
查看mysql的hive库有一堆表则成功
4.5使用hive和beeline
1.hive方式,两种方式的区别就不赘述了。 /opt/hive/bin/hive
直接进入hive即可操作
执行命令尝试
2.beeline方式链接,需要启动hiveserver2
# 4.5使用hiveserver2和beeline
# 修改$HADOOP_HOME/etc/hadoop/core-site.xml文件,增加如下配置:
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
# 修改后重启hadoop
/opt/hadoop/sbin/stop-all.sh
/opt/hadoop/sbin/start-all.sh
# 不配置和不重启都会造成报错:beeline链接报错
root is not allowed to impersonate anonymous # 用户:root不允许模拟匿名
# 开始链接
# 启动hiveserver2
/opt/hive/bin/hiveserver2
# 开启metastore
nohup /opt/hive/bin/hive --service metastore 2>&1 >> /opt/hive/metastore.log &
# 查看 9083 端口是否正常
netstat -anp | grep 9083
# 重开窗口进入beeline命令行
beeline -u jdbc:hive2://192.168.0.107:10000
至此,Hive安装完成
声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,如有雷同纯属巧合。