HADOOP-core-site.xml
<property>
<!--配置分布式文件系统的schema,ip以及port,默认hadoop1.x的默认端口是9000,hadoop2.x的默认端口为8020-->
<name>fs.defaultFS</name>
<value>hdfs://10.206.0.4:9000</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/apps/hadoop-2.8.1/hdpdata</value>
</property>
<property>
<name>hadoop.proxyuser.root.hosts</name>
<value>*</value>
</property>
<property>
<name>hadoop.proxyuser.root.groups</name>
<value>*</value>
</property>
</configuration>
HADOOP-hdfs-site.xml
<!--
默认的块副本数。可以在创建文件时指定副本的实际数量。如果在创建时未指定副本数,则使用默认值
tip:如果集群中有3个datanode,但是副本设置为4,那么具体的副本数是3,因为一个datanode中保存
两份副本没有任何意义,只有当你在集群中再次添加一台datanode的时候才会本分4份。
-->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<!-- dfs的namenode的webUI监听的ip和端口 -->
<property>
<name>dfs.namenode.http-address</name>
<value>0.0.0.0:50070</value>
</property>
<!-- The secondary namenode的ip地址和端口 -->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>0.0.0.0:50090</value>
</property>
<!--
确定DFS的namenode应该在本地文件系统的何处存储名称表(fsimage)
如果这是一个以逗号分隔的目录列表,那么名称表将复制到所有目录中,以实现冗余。
-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/name</value>
</property>
<!--
确定DFS的datanode应该将其块存储在本地文件系统的什么位置
如果这是一个以逗号分隔的目录列表,那么数据将存储在所有命名的目录中,通常存储在不同的设备上。
对于HDFS存储策略,应该用相应的存储类型([SSD]/[DISK]/[ARCHIVE]/[RAM_DISK])标记目录。
如果目录没有显式标记存储类型,则默认存储类型为磁盘。如果本地文件系统权限允许,将创建不存在的目录。
-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/data</value>
</property>
<!--
确定DFS的secondary namenode应该在本地文件系统的何处存储要合并的临时映像
如果这是一个以逗号分隔的目录列表,那么映像将复制到所有目录中以实现冗余。
-->
<property>
<name>dfs.namenode.checkpoint.dir</name>
<value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/cname</value>
</property>
<!--
确定DFS的secondary namenode应该在本地文件系统的何处存储要合并的临时edit文件
如果这是一个以逗号分隔的目录列表,那么编辑将复制到所有目录中以实现冗余。
默认值与dfs.namenode.checkpoint.dir相同
-->
<property>
<name>dfs.namenode.checkpoint.edits.dir</name>
<value>file:///opt/apps/hadoop-2.8.1/hdpdata/dfs/cname</value>
</property>
</configuration>
YARN-yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>10.206.0.4</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
</property>
<property>
<name>yarn.scheduler.fair.preemption</name>
<value>true</value>
</property>
<property>
<name>yarn.scheduler.fair.preemption.cluster-utilization-threshold</name>
<value>1.0</value>
</property>
</configuration>
Yarn-mapred-site.xml
配置mapreduce程序运行的平台:
local:运行在本地
classic:经典方式运行
yarn:运行在yarn平台
-->
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>0.0.0.0:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>0.0.0.0:19888</value>
</property>
</configuration>
HADOOP-hadoop-env.sh
JAVA_HOME=/opt/apps/jdk1.8.0_261
slaves
192.168.10.111
HADOOP和Yarn的日志存放在${HADOOP_HOME}/logs目录下,包含mr的日志和hadoop的日志