1集群规划、配置说明
1.1系统说明
操作系统 | 主机名 | IP地址 |
---|---|---|
CentOS-7-x86_64-DVD-2009 | master | 192.168.185.150 |
CentOS-7-x86_64-DVD-2009 | slave1 | 192.168.185.151 |
CentOS-7-x86_64-DVD-2009 | slave2 | 192.168.185.152 |
1.2组件、角色规划
主机名 | 角色 | 安装组件或服务 |
master | 管理节点、数据节点 | Ambari-Server、Ambari-Agent、Apache、MySQL |
slave1 | 数据节点 | Ambari-Agent |
slave2 | 数据节点 | Ambari-Agent |
1.3软件准备
安装包文件名:MobaXterm_Personal_11.1、CentOS-7-x86_64-DVD-2009 、jdk-8u271-linux-x64.tar、mysql-connector-java-8.0.22、mysql-5.7.30-linux-glibc2.12-x86_64.tar、HDP-3.1.4.0-centos7-rpm.tar、HDP-GPL-3.1.4.0-centos7-gpl.tar、HDP-UTILS-1.1.0.22-centos7.tar,软件下载百度网盘链接:Ambari2.7.4.0+HDP3.1.4.0
提取码:DZTB
2操作系统准备
2.1安装VMware与CentOS7
有几点需要注意的事项:
- VMware的选择16.0的版本,否则某些情况下会与Windows10不兼容,导致电脑蓝屏重启。
- VMware的注册码网上很多,随便找个注册。
- 安装客户机操作系统选择稍后安装操作系统,安装好虚拟机之后再选择事先准备好的安装包。
- 虚拟机名称即主机名,按照自己的需求填写。
- 处理器配置与虚拟机内存按照本机性能分配。
- 网络类型选择网络地址转换(NAT)(E)。
- 磁盘容量大小按需分配,此内存为最大使用内存,未占用的部分本机仍然可以正常使用。
- CentOS7安装时,选择最小化安装。
- 使用VMware的克隆功能创建另外两个节点。
2.2配置各节点网络
# 注意:centos自从7版本以后网卡名变成ens33而不是我这里的eth0了,我是习惯eth0了所以在安装的时候修改了网卡名,如果你的centos网卡名是ens33不要紧,就把我这里eth0的地方都换成你的ens33,对后面没影响。
[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
NAME="eth0"
DEVICE="eth0"
ONBOOT="yes"
IPADDR=192.168.185.150
NETMASK=255.255.255.0
GATEWAY=192.168.185.2
[root@master ~]# vi /etc/resolv.conf
nameserver 192.168.185.2
# 对其他两个slave节点也同样做上述操作,只不过在IPADDR值不一样,分别填其节点对应的ip
2.3 修改每个节点主机名,添加各节点映射
# 在其他两个子节点的hostname处分别填slave1和slave2
[root@master ~]# vi /etc/hostname
master
[root@master ~]# vi /etc/hosts
# 注意,前两行配置不要删除
127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4
::1 localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.185.150 master
192.168.185.151 slave1
192.168.185.152 slave2
2.4关闭防火墙
#3个节点都要做
# 关闭防火墙
sudo systemctl stop firewalld
# 禁止防火墙开机启动
sudo systemctl disable firewalld
# 查看防火墙状态
sudo systemctl status firewalld
# 确认3个节点的防火墙都是 inactive 和 disabled 状态
[root@master ~]# sudo systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
Active: inactive (dead)
Docs: man:firewalld(1)
2.5禁用SELINUX
# 3个节点都要做
# 首先临时关闭SELINUX
sudo setenforce 0
# 然后修改配置文件,永久关闭SELINUX
# [root@master ~]# vi /etc/selinux/config
# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
# enforcing - SELinux security policy is enforced.
# permissive - SELinux prints warnings instead of enforcing.
# disabled - No SELinux policy is loaded.
# 将SELINUX的值设为disabled
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
# targeted - Targeted processes are protected,
# minimum - Modification of targeted policy. Only selected processes are protected.
# mls - Multi Level Security protection.
SELINUXTYPE=targeted
先临时修改,后永久修改的好处:如果只是临时修改,那么重启机器之后设置就会失效;如果只是永久修改,那么必须重启机器才可能让设置生效,产线环境是不可能重启机器的;这样先临时修改,让其生效,再永久修改,那么在下一次服务器重启后也不会担心这个配置失效。
2.6查看各节点是否可以ping通网络
#3个节点都要做
# 重启以生效
[root@master ~]# reboot
[root@master ~]# ping www.baidu.com
# 注意下,重启后若ping不通百度,可能是因为namesever重启后自动被改了,所以导致ping不通百度,如果这样的话就再重新写下上面的resolv.conf
[root@master ~]# vi /etc/resolv.conf
nameserver 192.168.185.2
# 这下应该就通了,ping下百度试试看
[root@master ~]# ping www.baidu.com
PING www.a.shifen.com (119.75.217.109) 56(84) bytes of data.
64 bytes from 119.75.217.109: icmp_seq=1 ttl=128 time=30.6 ms
64 bytes from 119.75.217.109: icmp_seq=2 ttl=128 time=30.9 ms
64 bytes from 119.75.217.109: icmp_seq=3 t