在搭建Hadoop集群时,配置文件是至关重要的,它们定义了Hadoop集群的行为和操作方式。以下是一些详细的配置示例,这些配置将帮助完成Hadoop集群的搭建。
core-site.xml
core-site.xml
文件包含了Hadoop集群的通用配置,比如文件系统的默认名称。
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
<!-- 指定Hadoop使用的默认文件系统为HDFS,master是NameNode的主机名,9000是NameNode的RPC通信端口 -->
</property>
<!-- 可以添加更多属性,例如Hadoop的临时目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/app/hadoop/tmp</value>
</property>
</configuration>
hdfs-site.xml
hdfs-site.xml
文件包含了HDFS的特定配置,比如NameNode和DataNode的数据目录。
<configuration>
<!-- NameNode的元数据存储路径 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:///opt/module/hadoop-3.1.3/data/nameNode</value>
</property>
<!-- DataNode的数据存储路径 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:///opt/module/hadoop-3.1.3/data/dataNode</value>
</property>
<!-- HDFS的副本数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
<!-- 默认情况下,每个文件的副本数量为2 -->
</property>
</configuration>
mapred-site.xml
mapred-site.xml
文件包含了MapReduce作业的配置,比如MapReduce框架的名称。
<configuration>
<!-- 指定MapReduce运行在YARN上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
yarn-site.xml
yarn-site.xml
文件包含了YARN的特定配置,比如ResourceManager的主机名。
<configuration>
<!-- ResourceManager的主机名 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>master</value>
</property>
<!-- NodeManager提供的辅助服务 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<!-- 为MapReduce提供数据洗牌服务 -->
</property>
<!-- 可以添加更多属性,例如YARN的调度器类型 -->
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
</configuration>
workers
workers
文件包含了集群中所有DataNode的列表,每行一个主机名。
master
slave1
slave2