大数据单机学习环境搭建(3)Hive安装和启用

---

大数据单机学习环境搭建(3)Hive安装和启用

1.Java和Hadoop安装

见我的另一篇文章 Hadoop本地单节点安装

2.MySQL安装

见我的另一篇文章 Linux使用yum安装Mysql

3.Hive安装包和依赖包

Hive官网下载，懒得下载可白嫖。见免费资源 Hive安装包和依赖包，提取码：o1ms

4.Hive安装、配置、启用

4.1安装

# 4.hive解压安装
tar -zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive

# 4.1配置环境变量/etc/profile
vim /etc/profile
# 在最后添加
export HIVE_HOME=/opt/hive
export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HIVE_HOME/bin:$PATH
# 更新配置文件使其立即生效
source /etc/profile

4.2配置

# 4.2配置hive-log4j2.properties和hive-site.xml
cd /opt/hive/conf/
cp hive-log4j2.properties.template hive-log4j2.properties
vim hive-site.xml  # 新建
# 配置hive-site.xml
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://192.168.0.107:3306/hive?createDatabaseIfNotExist=true</value>
　</property>
　<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
　　<value>com.mysql.jdbc.Driver</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
  </property>
  <property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>pass</value>
  </property>
</configuration>

4.3初始化数据库

# 4.3初始化数据库
# 1)解压资源中的mysql-connector-java.tar.gz文件到本地，找到mysql-connector-java-8.0.17.jar
# 2)mysql-connector-java-8.0.17.jar到$HIVE_HOME/lib目录下
ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime # hive和mysql服务器都要执行，mysql要重启服务
cd /opt/hive/bin/
schematool -dbType mysql -initSchema  # 元数据保存到mysql设置

# 可能报错：sqlyog连接时，报1130错误，是由于没有给远程连接的用户权限问题
# 解决方法：更改 mysql数据库user表host，从localhost改成'%'
mysql -uroot -p
# 进入mysql后依次执行
use mysql;
select 'host' from user where user='root'; 
update user set host = '%' where user ='root';
flush privileges; 

schematool -dbType mysql -initSchema命令执行结果有了下方信息，才算成功。方可继续，否则需要查看1.是否正确添加jar包，2.是否修改mysql数据库user表host。

4.4查看mysql作为hive的元数据存储是否成功

# 4.4查看mysql的hive库中是否有很多表，有则hive安装成功
mysql -uroot -p
use hive;
show tables;

查看mysql的hive库有一堆表则成功

4.5使用hive和beeline

1.hive方式，两种方式的区别就不赘述了。 /opt/hive/bin/hive 直接进入hive即可操作

执行命令尝试

2.beeline方式链接，需要启动hiveserver2

# 4.5使用hiveserver2和beeline
# 修改$HADOOP_HOME/etc/hadoop/core-site.xml文件，增加如下配置：
<property>
	<name>hadoop.proxyuser.root.hosts</name>
	<value>*</value>
</property>
<property>
	<name>hadoop.proxyuser.root.groups</name>
	<value>*</value>
</property>
# 修改后重启hadoop
/opt/hadoop/sbin/stop-all.sh
/opt/hadoop/sbin/start-all.sh
# 不配置和不重启都会造成报错：beeline链接报错
root is not allowed to impersonate anonymous  # 用户：root不允许模拟匿名

# 开始链接
# 启动hiveserver2
/opt/hive/bin/hiveserver2
# 开启metastore
nohup /opt/hive/bin/hive --service metastore 2>&1 >> /opt/hive/metastore.log &
# 查看 9083 端口是否正常
netstat -anp | grep 9083

# 重开窗口进入beeline命令行
beeline -u jdbc:hive2://192.168.0.107:10000

至此，Hive安装完成

---

声明：本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考，不构成实际商业建议，如有雷同纯属巧合。