version: hadoop 2.7.1
hadoop-env.sh
export JAVA_HOME=/usr/software/jdk1.8.0_51
export HADOOP_CONF_DIR=/usr/software/hadoop-2.7.1/etc/hadoop
分别修改系统JDK和HADOOP路径
core-site.xml
<property>
<!--指定HDFS的主节点-->
<name>fs.defaultFS</name>
<value>hdfs://hadoop:9000</value>
</property>
<property>
<!--指定HDFS中的记录数据的目录,如果不配置,默认在/tmp-->
<name>hadoop.tmp.dir</name>
<value>/usr/software/hadoop-2.7.1/tmp</value>
</property>
hdfs-site.xml
<property>
<!--设置复本数量,默认为3,但是在伪分布式下,必须设置>为1-->
<name>dfs.replication</name>
<value>1</value>
</property>
mapred-site.xml
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
slave
hadoop
从机服务器名字,记得先修改/etc/hosts里的IP和别名,然后修改本机命令为:
hostname hadoop
yarn-site.xml
yarn RM服务器名字
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop</value>
</property>
调用mapreduce_shuffle
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
配置YARN调度器,这里用先进先出,如果不配,默认为共享调度器
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fifo.FifoScheduler</value>
监控内存,可以换成不检测虚拟内存 yarn.nodemanager.vmem-check-enabled 值为false
</property>
<property>
<name>yarn.nodemanager.vmem-pmem-ratio</name>
<value>10</value>
</property>
当NODEMANAGER用完后多少秒删除
<property>
<name>yarn.nodemanager.delete.debug-delay.sec</name>
<value>86400</value>
</property>