CentOS7安装Hadoop3完全分布式

前提条件

拥有CentOS7服务器版环境

集群规划

项目

服务器node2

服务器node3

服务器node4

HDFS

NameNode、DataNode

DataNode

DataNode、SecondaryNameNode

Yarn

NodeManager

Resourcemanager、NodeManager

NodeManager

虚拟机准备

通网络

能ping通外网，例如：

ping baidu.com

如果ping不通，修改如下文件：

vi /etc/sysconfig/network-scripts/ifcfg-ens33

将ONBOOT=no改为ONBOOT=yes

重启网络或重启机器

重启网络

systemctl restart network

重启机器

reboot

修改默认主机名

# 查询主机名
[root@localhost ~]# hostname
localhost.localdomain

修改主机名

[root@localhost ~]# hostnamectl set-hostname node1
[root@localhost ~]# hostname
node1

重启生效

[root@localhost ~]# reboot
…
[root@node1 ~]#

新建普通用户

因为root用户权限太高，误操作可能会造成不可挽回的损失，所以我们需要新建一个普通用户来安装操作

添加一个普通用户，用户名例如：hadoop，方法如下：

[root@node1 ~]# adduser hadoop
[root@node1 ~]# passwd hadoop
Changing password for user hadoop.
New password:
BAD PASSWORD: The password is shorter than 8 characters
Retype new password:
passwd: all authentication tokens updated successfully.

给普通用户添加sudo执行权限，且执行sudo不需要输入密码

[root@node1 ~]# chmod -v u+w /etc/sudoers
mode of ‘/etc/sudoers’ changed from 0440 (r–r-----) to 0640 (rw-r-----)

[root@node1 ~]# sudo vi /etc/sudoers
在%wheel ALL=(ALL) ALL一行下面添加如下语句：
hadoop ALL=(ALL) NOPASSWD:ALL

[root@node1 ~]# chmod -v u-w /etc/sudoers
mode of ‘/etc/sudoers’ changed from 0640 (rw-r-----) to 0440 (r–r-----)

设置静态IP

查询虚拟机网关

打开VMware–>编辑–>虚拟机网络编辑器

点击VMnet8的NAT模式–>点击NAT设置，查看到网关为：192.168.193.2

设置静态IP

[root@node1 ~]# vi /etc/sysconfig/network-scripts/ifcfg-ens33

修改核心内容如下

BOOTPROTO=static
IPADDR=192.168.193.140
GATEWAY=192.168.193.2
DNS1=192.168.193.2

注意：

1.BOOTPROTO设置为static，表示IP为静态的。

2.GATEWAY设置为上一步查询到的实际网关地址。

3.IPADDR设置为网关所在的网段，这里查到的网段为192.168.193网段，最后一位一般设置为128-255之间未被占用的地址。

关闭防火墙

[root@node1 ~]# systemctl stop firewalld

克隆主机

选中一台用来克隆的CentOS7机器，点击虚拟机–>管理–>克隆，如下图所示：

点击下一页

点击 下一页

选中创建完整克隆，点击 下一页

填写虚拟机名称CentOS7-node2，选择安装位置，点击完成

用同样的方法克隆出另外两台机器：CentOS7-node3、CentOS7-node4。

修改主机名

在node2上登录普通用户hadoop进行操作

# 修改主机名
[hadoop@