HDFS
- hdfs block存储位置:dfs.datanode.data.dir
- fsimage存储位置:dfs.namenode.name.dir
- edits log存储位置:dfs.namenode.edits.dir
- DN每块磁盘不能被hdfs使用的空间:dfs.datanode.du.reserved
默认10GB,一般建议单盘空间25% - bolck块大小:dfs.blocksize
- bolck副本数:dfs.replication
- fs.trash.interval:回收站清理时间周期,默认1天
- NN进程最大并发数,可以同时与多少个DN通信dfs.namenode.handler.count。Hadoop默认值10,CDH默认值30,建议ln(X)*20,X为HDFS节点数。
- DN磁盘坏了多少块,这个DN就下线:dfs.datanode.failed.volumes.tolerated。CDH默认0,意思坏多少块盘都不下线
10.DN支持cache的大小:dfs.datanode.max.locked.memory ,CDH默认4GB,0代表禁用
11.HDFS文件压缩格式的支持:io.compression.codecs
Yarn
- 日志汇聚功能:yarn.log-aggregation-enable
- 日志汇聚存储hdfs路径:yarn.nodemanager.remote-app-log-dir
- 日志写本地路径:yarn.nodemanager.log-dirs