HADOOP-YARN-JDK

HADOOP-core-site.xml

    <property>
    <!--配置分布式文件系统的schema,ip以及port,默认hadoop1.x的默认端口是9000，hadoop2.x的默认端口为8020-->
        <name>fs.defaultFS</name>
        <value>hdfs://10.206.0.4:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/apps/hadoop-2.8.1/hdpdata</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
</configuration>

HADOOP-hdfs-site.xml

	<!-- 
		默认的块副本数。可以在创建文件时指定副本的实际数量。如果在创建时未指定副本数，则使用默认值 
		tip:如果集群中有3个datanode，但是副本设置为4，那么具体的副本数是3，因为一个datanode中保存
		两份副本没有任何意义，只有当你在集群中再次添加一台datanode的时候才会本分4份。
	-->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    
   
    <!-- dfs的namenode的webUI监听的ip和端口 -->
    <property>
        <name>dfs.namenode.http-address</name>
        <value>0.0.0.0:50070</value>
    </property>
	
	<!-- The secondary namenode的ip地址和端口 -->
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>0.0.0.0:50090</value>
	</property>
	
	<!--
    	确定DFS的namenode应该在本地文件系统的何处存储名称表(fsimage)
    	如果这是一个以逗号分隔的目录列表，那么名称表将复制到所有目录中，以实现冗余。
     -->
	<property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/name</value>
    </property>
    
    <!--
      确定DFS的datanode应该将其块存储在本地文件系统的什么位置
      如果这是一个以逗号分隔的目录列表，那么数据将存储在所有命名的目录中，通常存储在不同的设备上。
      对于HDFS存储策略，应该用相应的存储类型([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK])标记目录。
      如果目录没有显式标记存储类型，则默认存储类型为磁盘。如果本地文件系统权限允许，将创建不存在的目录。
     -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/data</value>
    </property>

	<!--
    	确定DFS的secondary namenode应该在本地文件系统的何处存储要合并的临时映像
    	如果这是一个以逗号分隔的目录列表，那么映像将复制到所有目录中以实现冗余。
     -->
    <property>
        <name>dfs.namenode.checkpoint.dir</name>
        <value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/cname</value>
    </property>
    
    <!-- 
    	确定DFS的secondary namenode应该在本地文件系统的何处存储要合并的临时edit文件
    	如果这是一个以逗号分隔的目录列表，那么编辑将复制到所有目录中以实现冗余。
    	默认值与dfs.namenode.checkpoint.dir相同
     -->
    <property>
        <name>dfs.namenode.checkpoint.edits.dir</name>
        <value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/cname</value>
    </property>

</configuration>

YARN-yarn-site.xml

<configuration>
        <property>
              <name>yarn.resourcemanager.hostname</name>
                <value>10.206.0.4</value>
        </property>
        <property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>
	<property>
                <name>yarn.nodemanager.vmem-check-enabled</name>
                <value>false</value>
        </property>
        <property>
        	<name>yarn.resourcemanager.scheduler.class</name>
       		<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
     	</property>
	<property>
    		<name>yarn.scheduler.fair.preemption</name>
    		<value>true</value>
	</property>
	<property>
        	<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
        	<value>1.0</value>
    	</property>
</configuration>

Yarn-mapred-site.xml

	配置mapreduce程序运行的平台：
	local:运行在本地
	classic:经典方式运行
	yarn:运行在yarn平台
 -->
<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>0.0.0.0:10020</value>
    </property>
    
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>0.0.0.0:19888</value>
    </property>
</configuration>

HADOOP-hadoop-env.sh
JAVA_HOME=/opt/apps/jdk1.8.0_261
slaves
192.168.10.111

HADOOP和Yarn的日志存放在${HADOOP_HOME}/logs目录下，包含mr的日志和hadoop的日志