Hadoop集群中每个计算节点都有自己的一组配置文件,有2种类型的配置文件:
- 默认配置文件:core-default.xml、hdfs-default.xml、mapred-default.xml、yarn-default.xml
- 特定配置文件:core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml
2中的配置项覆盖1中相同的配置项
1文件是只读的,可以从classpath中的jar文件中直接获取该文件
在第二类文件中有大量的变量,通过定义和修改可以满足控制Hadoop配置的需要
Hadoop系统默认配置文件:
配置文件 | 描述 |
---|---|
core-default.xml | 默认的核心Hadoop属性配置文件,该配置文件在hadoop-common-2.7.3.jar中 |
hdfs-default.xml | 默认的HDFS属性配置文件,该配置文件在hadooop-hdfs-2.7.3.jar中 |
mapred-default.xml | 默认的MapReduce属性配置文件,该配置文件在hadoop-mapreduce-2.7.3.jar中 |
yarn-default.xml | 默认的YARN属性配置文件,该配置文件在hadoop-yarn-common-2.7.3.jar中 |
针对集群特定的配置文件一般在$HADOOP_CONF_DIR文件夹中,这些配置文件中的配置项可以覆盖上表中的默认配置文件中的相同配置项,他们是集群最终的配置值。这些特定的配置文件中没有涉及的配置项,会使用默认的配置文件中的配置项
Hadoop集群特定配置文件:
配置文件 | 描述 |
---|---|
core-site.xml | 特定的通用Hadoop属性配置文件,该配置文件会覆盖core-default.xml中相同配置项 |
hdfs-site.xml | 特定的通用HDFS属性配置文件,该配置文件会覆盖hdfs-default.xml中相同配置项 |
mapred-site.xml | 特定的通用MapReduce属性配置文件,该配置文件会覆盖mapred-default.xml中相同配置项 |
yarn-site.xml | 特定的通用YARN属性配置文件,该配置文件会覆盖yarn-default.xml中相同配置项 |
配置Hadoop守护进程
脚本 | 描述 |
---|---|
hadoop-ev.sh | 设置Java主目录 |
yarn-env.sh | 设置不同日志文件位置 |
mapred-env.sh | 设置用于各种守护进程的JVM选项 |
守护进程配置变量:
守护进程 | 环境变量 |
---|---|
名称节点 | HADOOP_NAMEN_OPTS |
数据节点 | HADOOP_DATANODE_OPTS |
辅助名称节点 | HADOOP_SECONDARYNAMENODE_OPTS |
资源管理器 | YARN_RESOURCEMANAGER_OPTS |
节点管理器 | YARN_NODEMANAGER_OPTS |
Hadoop配置