搭建Hadoop集群简要步骤

一、准备n台服务器（关闭防火墙、静态ip、修改好主机名称）

二、提前编写好集群分发脚本xsync

三、集群配置

1.核心配置文件：core-site.xml
	指定HDFS中NameNode的地址
	指定Hadoop运行时产生文件的存储目录
2.配置hadoop-env.sh
	jdk地址
3.配置hdfs-site.xml
	指定HDFS副本的数量
	指定Hadoop辅助名称节点主机配置
4.配置yarn-env.sh
	jdk地址
5.配置yarn-site.xml
	指定YARN的ResourceManager的地址
6.配置mapred-env.sh
	jdk地址
7.配置mapred-site.xml
	指定MR运行在Yarn上

四、在集群上分发配置好的Hadoop配置文件，使用xsync

其他机器要有对应的文件夹，才好分发

五、SSH无密登陆配置

1.进入.ssh目录 输入ssh-keygen -t rsa 生成公钥和私钥
2.将公钥拷贝到要免密登录的目标机器上	ssh-copy-id xxx
3.在NameNode和ResourceManager所在的服务器上都需要配置无密登陆

六、设置slaves

七、启动集群

1.第一次启动需要格式化NameNode	bin/hdfs namenode -format
2.启动HDFS	sbin/start-dfs.sh
3.启动YARN	sbin/start-yarn.sh
注意：NameNode和ResourceManger如果不是同一台机器，不能在NameNode上启动 YARN，应该在ResouceManager所在的机器上启动YARN。