Linux中Hadoop 集群搭建

零、下载Hadoop：

http://archive.cloudera.com/cdh5/cdh/5/?tdsourcetag=s_pctim_aiomsg

一、集群规划：

搭建的 hadoop 集群由 3 台服务器组成，分别叫做 master，salve1 和 slave2。其中 master 作为主节点，slave1 和 slave2 作为从节点。

二、网络配置：

1.查看 3 个节点的主机名是否和规划的一致：

[root@master~]# hostname
master

[root@slave1~]# hostname
slave1

[root@slave2~]# hostname
slave2

2.关闭 3 个节点的防火墙并禁止开机启动：

[root@master~]# systemctl stop firewalld
[root@master~]# systemctl disable firewalld

[root@slave1~]# systemctl stop firewalld
[root@slave1~]# systemctl disable firewalld

[root@slave2~]# systemctl stop firewalld
[root@slave2~]# systemctl disable firewalld

3.分别编辑 3 个节点的 /etc/hosts 文件，配置 IP 和域名：

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.199.99 master
192.168.199.101 slave1
192.168.199.102 slave2

# ip在前 主机名在后，完成配置后 主机名可以代替ip使用

4.使用 ping 命令检测 3 个节点间网络是否畅通:

ping master
ping slave1
ping slave2

三、配置 SSH 免密登录：

在 Hadoop 的运行过程中需要不断的登录 3 个节点执行执行命。我们需要配置 SSH 免密登录，省去输入密码的操作，提高效率。

1.在 3 个节点分别执行 ssh-keygen 命令生成 SSH 操作需要的公钥和私钥。命令执行过程中需要输入 3 次回车：

2.在 3 个节点分别执行 ls /root/.ssh 命令查看生成的文件是否完整:

[root@master ~]# ls /root/.ssh
id_rsa  id_rsa.pub

[root@slave1~]# ls /root/.ssh
id_rsa  id_rsa.pub

[root@slave2~]# ls /root/.ssh
id_rsa  id_rsa.pub

3.使用 ping 验证 3 个节点的之间网络是否畅通。

4.在 3 个节点分别执行 ssh-copy-id master 命令发送公钥给 master 节点。根据提示输入 yes 和 master 的密码：

5.在 master 上执行 c