文章顺序
vmware(大数据)虚拟机网络配置(学不会打死我)-CSDN博客
linux下mysql5.7安装(学不会我出门踩屎)-CSDN博客
Hadoop3.x搭建(1)伪分布式【学不会我直接躺下】-CSDN博客
软件包:
这里我为大家提供了所有的安装包,但是只有夸克网盘,希望大家见谅
我用夸克网盘分享了「大数据软件包」,点击链接即可保存。打开「夸克APP」,无需下载在线播放视频,畅享原画5倍速,支持电视投屏。
链接:https://pan.quark.cn/s/7cb7d5253bf3
提取码:sfgp
hive搭建
在搭建hive之前我们必须先搭建mysql,hive的配置文件涉及到MySQL。
连接xshell,打开master,slave1,slave2
启动zookeeper,hadoop
打开xftp,及那个hive的包传进来,解压hive的包并更名为hive
tar -zxvf apache-hive-3.1.2-bin.tar.gz
mv apache-hive-3.1.2-bin hive
进入hive的配置目录
cd hive/conf/
写vim hive-site.xml文件,因为这个文件是没有的,所以我们自己写
vim hive-site.xml
<configuration>
<property>
<name>javax.jdo.option.ConnectionURL</name>
<value>jdbc:mysql://master:3306/hive?useSSL=false&createDatabaseIfNotExist=true</value>
</property>
<property>
<name>javax.jdo.option.ConnectionDriverName</name>
<value>com.mysql.jdbc.Driver</value>
</property>
<property>
<name>javax.jdo.option.ConnectionUserName</name>
<value>root</value>
</property>
<property>
<name>javax.jdo.option.ConnectionPassword</name>
<value>123456</value>
</property>
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>master</value>
</property>
</configuration>
然后进入cd /opt/hive/lib/
cd /opt/hive/lib/
删除hive自带的guava包,将Hadoop的guava包拿过来
rm -rf guava-19.0.jar
cp /opt/hadoop/share/hadoop/hdfs/lib/guava-27.0-jre.jar /opt/hive/lib/
hadoop路径不同的话要更改
打开xftp将MySQL的来凝结包放在lib下
格式化hive
schematool -dbType mysql -initSchema --verbose
出现最后一句,初始化成功
启动hive
hive
查询数据库
show databases;
报错处理:
Underlying cause: java.sql.SQLException : null, message from server: "Host 'master' is not allowed to connect to this MySQL server"
无法远程访问mysql
解决办法
进入MySQL
mysql -uroot -p
输入
use mysql
update user set host='%' where user='root';
重启mysql
systemctl restart mysqld
Exception in thread "main" java.lang.RuntimeException: java.net.ConnectException: Call From master/192.168.23.130 to master:8020 failed on connection exception: java.net.ConnectException: 拒绝连接; For more details see: http://wiki.apache.org/hadoop/ConnectionRefused
集群未启动成功,或防火墙没关
集群没起来就要看具体报错了
#关闭防火墙
systemctl stop firewalld
#设置为开机不自启
systemctl disable firewalld