Hadoop配置文件

Hadoop集群中每个计算节点都有自己的一组配置文件，有2种类型的配置文件：

1. 默认配置文件：core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml
2. 特定配置文件：core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml

2中的配置项覆盖1中相同的配置项

1文件是只读的，可以从classpath中的jar文件中直接获取该文件

在第二类文件中有大量的变量，通过定义和修改可以满足控制Hadoop配置的需要

Hadoop系统默认配置文件：

配置文件	描述
core-default.xml	默认的核心Hadoop属性配置文件，该配置文件在hadoop-common-2.7.3.jar中
hdfs-default.xml	默认的HDFS属性配置文件，该配置文件在hadooop-hdfs-2.7.3.jar中
mapred-default.xml	默认的MapReduce属性配置文件，该配置文件在hadoop-mapreduce-2.7.3.jar中
yarn-default.xml	默认的YARN属性配置文件，该配置文件在hadoop-yarn-common-2.7.3.jar中

针对集群特定的配置文件一般在$HADOOP_CONF_DIR文件夹中，这些配置文件中的配置项可以覆盖上表中的默认配置文件中的相同配置项，他们是集群最终的配置值。这些特定的配置文件中没有涉及的配置项，会使用默认的配置文件中的配置项

Hadoop集群特定配置文件：

配置文件	描述
core-site.xml	特定的通用Hadoop属性配置文件，该配置文件会覆盖core-default.xml中相同配置项
hdfs-site.xml	特定的通用HDFS属性配置文件，该配置文件会覆盖hdfs-default.xml中相同配置项
mapred-site.xml	特定的通用MapReduce属性配置文件，该配置文件会覆盖mapred-default.xml中相同配置项
yarn-site.xml	特定的通用YARN属性配置文件，该配置文件会覆盖yarn-default.xml中相同配置项

配置Hadoop守护进程

脚本	描述
hadoop-ev.sh	设置Java主目录
yarn-env.sh	设置不同日志文件位置
mapred-env.sh	设置用于各种守护进程的JVM选项

守护进程配置变量：

守护进程	环境变量
名称节点	HADOOP_NAMEN_OPTS
数据节点	HADOOP_DATANODE_OPTS
辅助名称节点	HADOOP_SECONDARYNAMENODE_OPTS
资源管理器	YARN_RESOURCEMANAGER_OPTS
节点管理器	YARN_NODEMANAGER_OPTS

Hadoop配置