【Hadoop】搭建HDFS集群和YARN集群

Hadoop的两个部分:

1. YARN集群(MapReduce2)——管理调度任务资源
2. HDFS——分布式文件系统，解决海量数据存储

集群规划

服务器	hdfs角色	yarn角色
Master	NameNode,DataNode	ResourceManager
Slave1	SecondaryNamenode, DataNode	NodeManager
Slave2	DataNode	NodeManager

安装步骤

环境预处理

• 设置节点的hostname——master和slaves：
  修改 /etc/sysconfig/network，并执行命令使修改立即生效：

  hostname   节点名

• 设置节点间免密登录

  ssh-keygen
  ssh-copy-id

• 添加ip地址和主机名之间的映射关系（节点自身的也要添加）
  
• 关闭防火墙 systemctl stop firewalld
• 添加hadoop用户并添加sudo权限

useradd hadoop  
passwd hadoop 
chmod u+w /etc<