CentOS7+Hadoop+Scala+Spark+Zookeeper+HBase+Hive集群安装

1 、目的

记录大数据环境集群框架搭建及实验自学心得。

2、准备工作

Centos7 3台
JDK 1.8
Hadoop 3.3.6
Scala 2.12.18
Spark 3.5.0
Zookeeper 3.9.1
HBase 2.5.6
Hive 3.1.3

3、服务器环境准备

3.1 SSH免密登陆

如果此处做了，那配置hadoop环境时可以跳过此步操作

3.1.1 准备工作

• 查看是否安装SSH，一般Linux系统默认安装

[root@master ~]# rpm -qa |grep ssh
openssh-clients-7.4p1-16.el7.x86_64
libssh2-1.4.3-10.el7_2.1.x86_64
openssh-7.4p1-16.el7.x86_64
openssh-server-7.4p1-16.el7.x86_64

• 借助vi /etc/host修改机器名和IP

master	192.168.10.11
slave1	192.168.10.12
slave2	192.168.10.13

• 关闭防火墙

#关闭防火墙
systemctl stop firewalld.service
#禁用开机启动
systemctl disable firewalld.service
#查看防火墙状态
systemctl status firewalld.service
#注意：三台服务器都需要关闭防火墙，生产环境不允许直接关闭防火墙，只能配置策略，开通特定的端口。

• 禁用selinux
  修改 /etc/selinux/config 设置 SELINUX=disabled

vim /etc/selinux/config

• 重启使主机名等配置生效

shutdown -r now

3.1.2 设置免密登陆

• 生成公钥与私钥并复制
  现在操作的是主机master服务器

# 进入密钥目录(有可能不存在)
cd ~/.ssh
# 删除旧密钥
rm -rf ~/.ssh
# 生成密钥
ssh-keygen -t rsa
# 公钥复制到ssh指定的密钥文件 authorized_keys
cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys
#修改文件权限(不设置可能导致失败)
chmod 600 ~/.ssh/authorized_keys
# 测试免密登录
ssh -vvv master
# 退出ssh登录
exit

• 其他从服务器重复上面3.1.1和3.1.2的操作
• 将master的公钥内容添加到其他主机的~/.ssh/authorized_keys中，这样master可以免密登录其他主机

# 在master上执行，然后在其他主机同样执行如下操作
ssh-copy-id master
ssh-copy-id slave1
ssh-copy-id slave2

• 注意：要所有服务器执行完上面命令才进行公钥同步其它主机的操作

4、安装过程

4.1、jdk安装

这个太简单了，自行百度安装

4.2、hadoop安装

跳转过去参考小弟写的hadoop安装，此处就不重复写了
hadoop安装

4.3、Spark安装及环境配置

因为spark安装需要依赖scala，所在一起安装，这里也不重复写了，继续参考小弟写的centos7环境scala-2.12.18+spark3.5.0集群

4.4、Zookeeper安装

继续不重复，参考小弟写的centos7环境zookeeper3.9.1部署安装和集群

4.5、HBase安装

还是继续参考小弟前面写的centos7环境安装和集群Hbase2.5.6

4.6、mysql安装

继续参考centos7系统离线部署mysql-8.0.35免安装版本

4.7、Hive安装

参考hive-3.1.3安装