【2019春招准备：102. hadoop集群搭建】

16G内存
自己搭建的节点：
hdfs集群和yarn集群
1-namenode 4-datanode 1-master 4-slave
based on Centos 7 JDK1.8 hadoop1.8.0

NAT联网：同一个网段
设置好每个虚拟机的固定IP，和内网域名映射，ssh免密登录，防火墙关闭

需要的配置文件：

hadoop-env.sh 指定JAVA_HOME

core-site.xml
指定谁是namenode 指定其ip和端口号
hadoop.tmp.dir这是整个文件系统依赖的基本配置

hdfs-site.xml
replication 配置的副本个数

mapred-site.xml
mapreduce-framework-name 指定mapreduce跑在yarn集群上

slaves 指定slave的内网域名

yarn-site.xml
yarn.resourcemanager.hostname:谁是yarn集群的master
yarn.nodemanager.aux-service: NodeManager上运行的负数服务，需要配置成mapreduces_shuffle，才能运行mapreduce程序