key | value | 描述 |
---|---|---|
dfs.balance.bandwidthPerSec | 10485760 | 在用于数据平衡时的一个带宽默认值1048576 |
dfs.block.access.token.enable | true | 在访问dataNode数据节点时是否验证权限默认值ture |
dfs.blockreport.initialDelay | 120 | 第一个块报告的延迟时间默认值0s |
dfs.blocksize | 134217728 | 每个块的大小默认值是128M |
dfs.client.block.write.replace-datanode-on-failure.enable | true | |
dfs.client.block.write.replace-datanode-on-failure.policy | NEVER | ALWAYS、DEFAULT、NEVER |
dfs.client.read.shortcircuit | true | 此配置参数打开短路本地读取默认值false |
dfs.client.read.shortcircuit.streams.cache.size | 4096 | 最近打开文件的一个默认缓存默认值256 |
dfs.client.retry.policy.enabled | false | 如果为ture则启用DFSClient的重试策略 |
dfs.client.socket-timeout | 300000 | 默认值60000 |
dfs.cluster.administrators | hdfs | |
dfs.content-summary.limit | 5000 | 默认值5000 |
dfs.datanode.address | 0.0.0.0:50010 | |
dfs.datanode.balance.bandwidthPerSec | 6250000 | 用于数据节点平衡的宽带默认值10M |
dfs.datanode.data.dir | /data/hadoop/hdfs/data | |
dfs.datanode.data.dir.perm | 750 | |
dfs.datanode.du.reserved | 229029233664 | 避免磁盘耗尽配置的保留字节默认值0 |
dfs.datanode.failed.volumes.tolerated | 0 | 在数据节点停止服务前允许失败的数据卷数量 |
dfs.datanode.handler.count | 20 | 数据节点服务器的线程数默认值10 |
dfs.datanode.http.address | 0.0.0.0:50075 | |
dfs.datanode.https.address | 0.0.0.0:50475 | |
dfs.datanode.ipc.address | 0.0.0.0:8010 | |
dfs.datanode.max.transfer.threads | 16384 | 用于指定数据传输的最大线程数默认值4096 |
dfs.domain.socket.path | /var/lib/hadoop-hdfs/dn_socket | 可选配置 |
dfs.encrypt.data.transfer.cipher.suites | AES/CTR/NoPadding | 默认未定义 |
dfs.heartbeat.interval | 3 | |
dfs.hosts.exclude | /etc/hadoop/conf/dfs.exclude | 黑名单主机 |
dfs.http.policy | HTTP_ONLY | |
dfs.https.port | 50470 | |
dfs.journalnode.edits.dir | /hadoop/hdfs/journalnode | 存储数据编辑的目录 |
dfs.journalnode.http-address | 0.0.0.0:8480 | |
dfs.journalnode.https-address | 0.0.0.0:8481 | |
dfs.namenode.accesstime.precision | 0 | HDFS文件的访问时间精确到此值。默认值为1小时。将值设置为0将禁用HDFS的访问时间。 |
dfs.namenode.acls.enabled | true | 启用对ACL的支持默认值false |
dfs.namenode.audit.log.async | true | 如果为true,则启用异步审核日志。 |
dfs.namenode.avoid.read.stale.datanode | true | |
dfs.namenode.avoid.write.stale.datanode | true | |
dfs.namenode.checkpoint.dir | /hadoop/hdfs/namesecondary | |
dfs.namenode.checkpoint.edits.dir | ${dfs.namenode.checkpoint.dir} | |
dfs.namenode.checkpoint.period | 21600 | 两个定期检查的时间间隔默认值360s |
dfs.namenode.checkpoint.txns | 1000000 | |
dfs.namenode.fslock.fair | false | 如果为ture FS名称系统锁将用于公平模式,这将有助于防止写入程序线程被饿会降低性能,默认值为ture |
dfs.namenode.handler.count | 300 | 侦听客服端的一个线程数 |
dfs.namenode.http-address | localhost:50070 | |
dfs.namenode.https-address | localhost:50470 | |
dfs.namenode.name.dir | /data/hadoop/hdfs/namenode | |
dfs.namenode.name.dir.restore | true | namenode是否尝试恢复失败的目录,默认为flase |
dfs.namenode.rpc-address | localhost:8020 | |
dfs.namenode.safemode.threshold-pct | 1 | |
dfs.namenode.secondary.http-address | localhost:50090 | |
dfs.namenode.startup.delay.block.deletion.sec | 3600 | 块删除的延迟时间 |
dfs.namenode.write.stale.datanode.ratio | 1.0f | 当数字过时数据节点与标记的总数据节点之比大于此比率时,请停止避免写入过时节点,以防止产生热点 |
dfs.permissions.enabled | true | 是否启用hdfs上目录权限的检查 |
dfs.permissions.superusergroup | hdfs | 默认值:supergroup |
dfs.replication | 3 | 块复制数 |
基于ambari的hdfs-site.xml的分析配置参数
最新推荐文章于 2024-04-28 07:30:00 发布