Hadoop集群配置文件详解

在搭建Hadoop集群时，配置文件是至关重要的，它们定义了Hadoop集群的行为和操作方式。以下是一些详细的配置示例，这些配置将帮助完成Hadoop集群的搭建。

core-site.xml

core-site.xml文件包含了Hadoop集群的通用配置，比如文件系统的默认名称。

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://master:9000</value>
        <!-- 指定Hadoop使用的默认文件系统为HDFS，master是NameNode的主机名，9000是NameNode的RPC通信端口 -->
    </property>
    <!-- 可以添加更多属性，例如Hadoop的临时目录 -->
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/app/hadoop/tmp</value>
    </property>
</configuration>

hdfs-site.xml

hdfs-site.xml文件包含了HDFS的特定配置，比如NameNode和DataNode的数据目录。

<configuration>
    <!-- NameNode的元数据存储路径 -->
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///opt/module/hadoop-3.1.3/data/nameNode</value>
    </property>
    <!-- DataNode的数据存储路径 -->
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:///opt/module/hadoop-3.1.3/data/dataNode</value>
    </property>
    <!-- HDFS的副本数量 -->
    <property>
        <name>dfs.replication</name>
        <value>2</value>
        <!-- 默认情况下，每个文件的副本数量为2 -->
    </property>
</configuration>

mapred-site.xml

mapred-site.xml文件包含了MapReduce作业的配置，比如MapReduce框架的名称。

<configuration>
    <!-- 指定MapReduce运行在YARN上 -->
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

yarn-site.xml

yarn-site.xml文件包含了YARN的特定配置，比如ResourceManager的主机名。

<configuration>
    <!-- ResourceManager的主机名 -->
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
    </property>
    <!-- NodeManager提供的辅助服务 -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
        <!-- 为MapReduce提供数据洗牌服务 -->
    </property>
    <!-- 可以添加更多属性，例如YARN的调度器类型 -->
    <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
    </property>
</configuration>

workers

workers文件包含了集群中所有DataNode的列表，每行一个主机名。

master
slave1
slave2