hadoop 基础xml配置

学习中用到的配置进行总结和更新

1. core-site.xml

例子

<configuration>
        <property>
            <name>fs.defaultFS</name>
            <value>hdfs://master:9000</value>
        </property>
        <property>
            <name>hadoop.tmp.dir</name>
            <value>/home/xhc/hadoopdata</value>
        </property>
</configuration>

说明：

fs.defaultFS ：文件系统的URI地址，使用hdfs://地址:端口号

hadoop.tmp.dir ：临时文件的根目录

2. hdfs-site.xml

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

</configuration>

说明：

dfs.replication ：DataNode的block数量

3. mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

说明：

mapreduce.framework.name : 指定运行mapreduce的环境

4. yarn-site.xml

<configuration>


    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    
    <!-- ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等。 -->
    <property>
        <name>yarn.resourcemanager.address</name>
        <value>master:18040</value>
    </property>
    
    <!-- ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。 -->
    <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>master:18030</value>
    </property>
    
    <!-- ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等。 -->
    <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>master:18025</value>
    </property>
    
    <!-- ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等。 -->
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:18141</value>
    </property>
    
    <!-- ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息。 -->
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:18088</value>
    </property>

</configuration>

说明：

yarn.nodemanager.aux-services ：NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序

yarn.resourcemanager.address ：ResourceManager 对客户端暴露的地址。客户端通过该地址向RM提交应用程序，杀死应用程序等

yarn.resourcemanager.scheduler.address ：ResourceManager 对ApplicationMaster暴露的访问地址。ApplicationMaster通过该地址向RM申请资源、释放资源等。

yarn.resourcemanager.resource-tracker.address ： ResourceManager 对NodeManager暴露的地址。NodeManager通过该地址向RM汇报心跳，领取任务等

yarn.resourcemanager.admin.address ： ResourceManager 对管理员暴露的访问地址。管理员通过该地址向RM发送管理命令等

yarn.resourcemanager.webapp.address ： ResourceManager对外web ui地址。用户可通过该地址在浏览器中查看集群各类信息