基于CenOS7.9安装Ambari2.7.4.0+HDP3.1.4.0大数据平台

1集群规划、配置说明

1.1系统说明

表1.1 集群系统说明表

操作系统	主机名	IP地址
CentOS-7-x86_64-DVD-2009	master	192.168.185.150
CentOS-7-x86_64-DVD-2009	slave1	192.168.185.151
CentOS-7-x86_64-DVD-2009	slave2	192.168.185.152

1.2组件、角色规划

表1.2 结点规划表

主机名	角色	安装组件或服务
master	管理节点、数据节点	Ambari-Server、Ambari-Agent、Apache、MySQL
slave1	数据节点	Ambari-Agent
slave2	数据节点	Ambari-Agent

1.3软件准备

        安装包文件名：MobaXterm_Personal_11.1、CentOS-7-x86_64-DVD-2009 、jdk-8u271-linux-x64.tar、mysql-connector-java-8.0.22、mysql-5.7.30-linux-glibc2.12-x86_64.tar、HDP-3.1.4.0-centos7-rpm.tar、HDP-GPL-3.1.4.0-centos7-gpl.tar、HDP-UTILS-1.1.0.22-centos7.tar，软件下载百度网盘链接：Ambari2.7.4.0+HDP3.1.4.0 
提取码：DZTB

2操作系统准备

2.1安装VMware与CentOS7

        步骤较为简单，不再赘述，这里给出参考文章链接:VMware安装CentOS7超详细版_tsundere_x的博客-CSDN博客_vmware安装centos7写在前面云计算与分布式这门课程的老师让我们使用vmware安装好centos7.6并配置好Java编译环境，刚好复习一波，下面是详细的安装过程。准备工作VMware，我用的是VMware Workstation Pro 15，下载与安装方法就不提了毕竟重点在后头。CentOS7镜像文件，由于7.6版本已经停更，这里我用的是7.7版本。下载地址 http://isoredirect....https://blog.csdn.net/tsundere_x/article/details/104263100

        有几点需要注意的事项： 

1. VMware的选择16.0的版本，否则某些情况下会与Windows10不兼容，导致电脑蓝屏重启。
2. VMware的注册码网上很多，随便找个注册。
3. 安装客户机操作系统选择稍后安装操作系统，安装好虚拟机之后再选择事先准备好的安装包。
4. 虚拟机名称即主机名，按照自己的需求填写。
5. 处理器配置与虚拟机内存按照本机性能分配。
6. 网络类型选择网络地址转换（NAT）(E)。
7. 磁盘容量大小按需分配，此内存为最大使用内存，未占用的部分本机仍然可以正常使用。
8. CentOS7安装时，选择最小化安装。
9. 使用VMware的克隆功能创建另外两个节点。

2.2配置各节点网络

# 注意：centos自从7版本以后网卡名变成ens33而不是我这里的eth0了，我是习惯eth0了所以在安装的时候修改了网卡名，如果你的centos网卡名是ens33不要紧，就把我这里eth0的地方都换成你的ens33，对后面没影响。

[root@master ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33
TYPE="Ethernet"
BOOTPROTO="static"
NAME="eth0"
DEVICE="eth0"
ONBOOT="yes"
IPADDR=192.168.185.150
NETMASK=255.255.255.0
GATEWAY=192.168.185.2

[root@master ~]# vi /etc/resolv.conf
nameserver 192.168.185.2

# 对其他两个slave节点也同样做上述操作，只不过在IPADDR值不一样，分别填其节点对应的ip

2.3 修改每个节点主机名，添加各节点映射

# 在其他两个子节点的hostname处分别填slave1和slave2
[root@master ~]# vi /etc/hostname
master

[root@master ~]# vi /etc/hosts
# 注意，前两行配置不要删除
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.185.150 master
192.168.185.151 slave1
192.168.185.152 slave2

2.4关闭防火墙

#3个节点都要做
# 关闭防火墙
sudo systemctl stop firewalld
# 禁止防火墙开机启动
sudo systemctl disable firewalld
# 查看防火墙状态
sudo systemctl status firewalld

# 确认3个节点的防火墙都是 inactive 和 disabled 状态
[root@master ~]# sudo systemctl status firewalld
● firewalld.service - firewalld - dynamic firewall daemon
   Loaded: loaded (/usr/lib/systemd/system/firewalld.service; disabled; vendor preset: enabled)
   Active: inactive (dead)
     Docs: man:firewalld(1)

2.5禁用SELINUX

# 3个节点都要做
# 首先临时关闭SELINUX
sudo setenforce 0

# 然后修改配置文件，永久关闭SELINUX
# [root@master ~]# vi /etc/selinux/config

# This file controls the state of SELinux on the system.
# SELINUX= can take one of these three values:
#     enforcing - SELinux security policy is enforced.
#     permissive - SELinux prints warnings instead of enforcing.
#     disabled - No SELinux policy is loaded.
# 将SELINUX的值设为disabled
SELINUX=disabled
# SELINUXTYPE= can take one of three values:
#     targeted - Targeted processes are protected,
#     minimum - Modification of targeted policy. Only selected processes are protected. 
#     mls - Multi Level Security protection.
SELINUXTYPE=targeted

        先临时修改，后永久修改的好处：如果只是临时修改，那么重启机器之后设置就会失效；如果只是永久修改，那么必须重启机器才可能让设置生效，产线环境是不可能重启机器的；这样先临时修改，让其生效，再永久修改，那么在下一次服务器重启后也不会担心这个配置失效。

2.6查看各节点是否可以ping通网络

#3个节点都要做
# 重启以生效
[root@master ~]# reboot
[root@master ~]# ping www.baidu.com

# 注意下，重启后若ping不通百度，可能是因为namesever重启后自动被改了，所以导致ping不通百度，如果这样的话就再重新写下上面的resolv.conf
[root@master ~]# vi /etc/resolv.conf
nameserver 192.168.185.2

# 这下应该就通了,ping下百度试试看
[root@master ~]# ping www.baidu.com
PING www.a.shifen.com (119.75.217.109) 56(84) bytes of data.
64 bytes from 119.75.217.109: icmp_seq=1 ttl=128 time=30.6 ms
64 bytes from 119.75.217.109: icmp_seq=2 ttl=128 time=30.9 ms
64 bytes from 119.75.217.109: icmp_seq=3 ttl=128 time=30.9 ms
...
# 按Crtl+C结束

2.7使用远程连接工具Mobaxterm

        各节点可以ping通外网后，连接远程连接工具Mobaxterm，可以更加轻松的使用Linux的命令。

        使用方法：

1. 解压后，直接双击.exe文件
2. 每个节点对应创建一个新的session，连接方式选择SSH，输入节点的主机名和IP地址，首次登录需要输入密码，保存之后可以自动登录。

2.8umask设置

# 3个节点都要做
# [root@master ~]# vi /etc/profile
# 在最后一行添加如下内容
umask 0022

# 修改完之后使用source命令使其生效
source /etc/profile

# 在3个节点确保配置生效，0022是应该出现的结果
[root@master ~]# umask
0022

 2.9文件描述符配置