hadoop配置类一览(持续更新中)

整个hadoop的配置项估计有1000+,目前官方文档还没有完全的配置列表,只能靠看源码(依然还是有不少配置未被统一写到常量类里的,配置参数的key和默认值都被放到具体的功能模块里了)以下是暂时看到的一些集中的配置相关的类(持续更新中),供广大hadoop爱好者们了解,hadoop的优化少不了这些配置。

core-site.xml加载于:org.apache.hadoop.hdfs.server.namenode.FSNamesystem.java



map/reduce配置类:

org.apache.hadoop.mapreduce.MRJobConfig.java

org.apache.hadoop.mapreduce.MRConfig.java(m/r集群相关)

加载于:org.apache.hadoop.mapreduce.util.ConfigUtil.java


jobtracker配置类(继承MRConfig,以“mapreduce.jobtracker”开头的key)

org.apache.hadoop.mapreduce.server.jobtracker.JTConfig.java

tasktracker配置类(继承MRConfig,以“mapreduce.tasktracker”开头的key):

org.apache.hadoop.mapreduce.server.tasktracker.TTConfig.java

hdfs配置类:

org.apache.hadoop.hdfs.DFSConfigKeys.java

加载于org.apache.hadoop.hdfs.HdfsConfiguration.java:



另外一些fault-tolerant(或者说disaster-tolerance)机制相关的:

org.apache.hadoop.hdfs.server.namenode.CheckpointConf.java引用了hdfs配置类,主要为节点检查点相关配置,即启动hadoop时看到的secondaryNameNode负责记录的一些镜像fsimage和日志editLog等系列操作相关的配置参数,用于nameNode挂掉之后恢复工作用的(本人语文水平不高,语无伦次的感觉)。




转载于:https://my.oschina.net/figoisxjs/blog/131912

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值