Hadoop 配置文件介绍

Hadoop 配置文件：

文件名	配置对象	主要内容
core-site.xml	集群全局参数	用于定义系统级别的参数，如URL、Hadoop的临时目录等
hdfs-site.xml	HDFS参数	如NameNode和DataNode的存放位置、文件、副本的个数、文件读取权限等
mapred-site.xml	Mapreduce参数	包括JobHistory Server和应用程序参数两部分，如reduce任务的默认个数、任务所能够使用内存的默认上下限等
yarn-site.xml	集群资源管理系统参数	配置 ResourceManager，NodeManager 的通信端口，web监控端口等

 详解：

Hadoop配置文件详解（core-site.xml、hdfs-site.xm、mapred-site.xml、yarn-site.xml）_hdfs-site.xml和core-site.xml-CSDN博客

官网说明：

https://hadoop.apache.org/docs/r3.3.6/hadoop-project-dist/

案例：

Pseudo-Distributed (hadoop version = 3.3.6)

File	Name	Value
core-site.xml	fs.defaultFS	hdfs://localhost:9000
core-site.xml	hadoop.tmp.dir	/root/hadoop-3.3.6/tmp
hdfs-site.xml	dfs.replication	1
hdfs-site.xml	dfs.namenode.name.dir	/root/hdfs/name
hdfs-site.xml	dfs.datanode.data.dir	/root/hdfs/data
mapred-site.xml	mapreduce.framework.name	yarn
mapred-site.xml	yarn.app.mapreduce.am.env	HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapred-site.xml	mapreduce.map.env	HADOOP_MAPRED_HOME=${HADOOP_HOME}
mapred-site.xml	mapreduce.reduce.env	HADOOP_MAPRED_HOME=${HADOOP_HOME}
yarn-site.xml	yarn.nodemanager.aux-services	mapreduce_shuffle