CentOS7下搭建Hadoop3.2.0完全分布式集群（亲娘级教程超详细）

Hadoop安装教程

1、准备工作

1.1 安装三台CentOS7虚拟机

hadoop-1是namenode，hadoop-2和hadoop-3都是datanode
使用：ip addr查看并记住三台虚拟机所对应IP

1.2 修改主机名(root 权限 操作三台)

[root@localhost ~]# hostname          #查看当前的 hostnmae

localhost

[root@localhost ~]# hostnamectl  set-hostname  hadoop-1      #永久修改hostname(立即生效）

[root@localhost ~]# hostname                                   # 检查修改

hadoop-1

其余两台以同样方式分别将主机名修改为：hadoop-2、hadoop-3

1.3 修改HOSTS（root权限 操作三台）

修改HOSTS的原因主要有两点：

1.Hadoop 内部机制需要通过主机名对主机进行访问。

2.使用主机名对 Hadoop 集群进行配置，看起来更加一目了然。

在CentOS7中修改HOSTS 操作命令如下：

[root@localhost ~]# vi /etc/hosts

#在文件中添加集群所有主机的IP和主机名的对应关系，IP 与主机名之间使用一个 TAB 键分隔

192.168.80.132   hadoop-1  
192.168.80.133   hadoop-2
192.168.80.134   hadoop-3

1.4 关闭防火墙（root权限 操作三台）

Centos7 中使用 systemctl 命令来管理服务，命令如下：

[root@localhost ~]# firewall-cmd --state  				   #查看状态
[root@localhost ~]# systemctl disable firewalld            # 永久关闭防火墙（重启生效）
[root@localhost ~]# systemctl stop firewalld               # 临时关闭防火墙（立即生效）

1.5 同步时间（root权限 操作三台）

CentOS7 网络同步时间命令如下：

 yum  install  ntpdate     #安装过程中，需要按提示输入两次Y或yes
 ntpdate  cn.pool.ntp.org  #安装完毕后，执行该语句同步时间

1.6 配置SSH免密登录（root权限 操作三台）

给三台虚拟机生成密钥

以hadoop-1为例，执行命令，生成空字符串的秘钥(后面要使用公钥)，命令是：

ssh-keygen -t rsa  #安装过程中需要按四次Enter键

将公钥拷贝到要免密登录的目标机器上

在hadoop-1上执行以下命令:

ssh-copy-id  hadoop-2
ssh-copy-id  hadoop-3

在hadoop-2上执行以下命令:

ssh-copy-id  hadoop-1
ssh-copy-id  hadoop-3

在hadoop-3上执行以下命令:

ssh-copy-id  hadoop-1
ssh-copy-id  hadoop-2

测试免密登陆

在hadoop-2服务器执行命令

ssh hadoop-1

可以看到在没有输入密码的情况下从服务器hadoop-2成