【大数据】Linux 环境下创建 Hadoop 集群并完成设置

条件

采用64位Oracle Linux 6.4, JDK：1.8.0_131 64位, Hadoop：2.7.3
Spark集群实验环境共包含3台服务器，每台机器的主要参数如表所示：

服务器	HOSTNAME	IP	功能
spark1	spark1	92.16.17.1	NN/DN/RM Master/Worker
spark2	spark2	92.16.17.2	DN/NM/Worker
spark3	spark3	92.16.17.3	DN/NM/Worker

过程

1. 设置服务器的HOSTNAME
   在三台服务器上分别设置服务器主机名称，spark1 服务器设置如图所示， spark2和spark3请自从完成。
   
   注意：该项设置完成后，需重启服务器方能生效
2. 配置网卡参数
   根据IP分配表的内容分别修改各主机的网卡配置文件，其中spark1如图所示：
   
3. 设置host映射文件
   分别修改和主机的host文件如图所示：
   
4. 关闭防火墙
   分别在三台主机上永久关闭防火墙，spark1操作如图所示：
   
5. 关闭SELINUX
   分别在三台主机上修改SELINUX参数为disabled, spark1操作如 图所示：
   
   注意：SELINUX参数修改后需要重启操作系统后才能生效
6. 修改SSH配置文件
   编辑 sshd_config 配置文件，将三个参数 RSAAuthentication,
   PubkeyAuthentication, AuthorizedKeysFile的注释撤销掉，之后停止并再次启动SSHD守护进程，如图所示：
   
   
   以上操作在spark1, spark2, spark3主机上均要执行
7. 创建集群所需用户组及用户
   创建hadoop用户组、hadoop用户，并设置hadoop用户的口令为hadoop, 如图所示：
   
   接着给hadoop用户添加sudo权限，先给root用户授予对sudoers文件的写权限，在编辑sudoers文件，添加如图所示的行：
   
   
   上述操作要在spark1, spark2, spark3三台主机分别执行
8. 创建集群安装目录
   分别在spark1, spark2, spark3三台主机上创建集群安装目录，并修改该目录所有者为hadoop, 其中spark1节点上的操作如图所示：