基于ambari的hdfs-site.xml的分析配置参数

keyvalue描述
dfs.balance.bandwidthPerSec10485760在用于数据平衡时的一个带宽默认值1048576
dfs.block.access.token.enabletrue在访问dataNode数据节点时是否验证权限默认值ture
dfs.blockreport.initialDelay120第一个块报告的延迟时间默认值0s
dfs.blocksize134217728每个块的大小默认值是128M
dfs.client.block.write.replace-datanode-on-failure.enabletrue
dfs.client.block.write.replace-datanode-on-failure.policyNEVERALWAYS、DEFAULT、NEVER
dfs.client.read.shortcircuittrue此配置参数打开短路本地读取默认值false
dfs.client.read.shortcircuit.streams.cache.size4096最近打开文件的一个默认缓存默认值256
dfs.client.retry.policy.enabledfalse如果为ture则启用DFSClient的重试策略
dfs.client.socket-timeout300000默认值60000
dfs.cluster.administratorshdfs
dfs.content-summary.limit5000默认值5000
dfs.datanode.address0.0.0.0:50010
dfs.datanode.balance.bandwidthPerSec6250000用于数据节点平衡的宽带默认值10M
dfs.datanode.data.dir/data/hadoop/hdfs/data
dfs.datanode.data.dir.perm750
dfs.datanode.du.reserved229029233664避免磁盘耗尽配置的保留字节默认值0
dfs.datanode.failed.volumes.tolerated0在数据节点停止服务前允许失败的数据卷数量
dfs.datanode.handler.count20数据节点服务器的线程数默认值10
dfs.datanode.http.address0.0.0.0:50075
dfs.datanode.https.address0.0.0.0:50475
dfs.datanode.ipc.address0.0.0.0:8010
dfs.datanode.max.transfer.threads16384用于指定数据传输的最大线程数默认值4096
dfs.domain.socket.path/var/lib/hadoop-hdfs/dn_socket可选配置
dfs.encrypt.data.transfer.cipher.suitesAES/CTR/NoPadding默认未定义
dfs.heartbeat.interval3
dfs.hosts.exclude/etc/hadoop/conf/dfs.exclude黑名单主机
dfs.http.policyHTTP_ONLY
dfs.https.port50470
dfs.journalnode.edits.dir/hadoop/hdfs/journalnode存储数据编辑的目录
dfs.journalnode.http-address0.0.0.0:8480
dfs.journalnode.https-address0.0.0.0:8481
dfs.namenode.accesstime.precision0HDFS文件的访问时间精确到此值。默认值为1小时。将值设置为0将禁用HDFS的访问时间。
dfs.namenode.acls.enabledtrue启用对ACL的支持默认值false
dfs.namenode.audit.log.asynctrue如果为true,则启用异步审核日志。
dfs.namenode.avoid.read.stale.datanodetrue
dfs.namenode.avoid.write.stale.datanodetrue
dfs.namenode.checkpoint.dir/hadoop/hdfs/namesecondary
dfs.namenode.checkpoint.edits.dir${dfs.namenode.checkpoint.dir}
dfs.namenode.checkpoint.period21600两个定期检查的时间间隔默认值360s
dfs.namenode.checkpoint.txns1000000
dfs.namenode.fslock.fairfalse如果为ture FS名称系统锁将用于公平模式,这将有助于防止写入程序线程被饿会降低性能,默认值为ture
dfs.namenode.handler.count300侦听客服端的一个线程数
dfs.namenode.http-addresslocalhost:50070
dfs.namenode.https-addresslocalhost:50470
dfs.namenode.name.dir/data/hadoop/hdfs/namenode
dfs.namenode.name.dir.restoretruenamenode是否尝试恢复失败的目录,默认为flase
dfs.namenode.rpc-addresslocalhost:8020
dfs.namenode.safemode.threshold-pct1
dfs.namenode.secondary.http-addresslocalhost:50090
dfs.namenode.startup.delay.block.deletion.sec3600块删除的延迟时间
dfs.namenode.write.stale.datanode.ratio1.0f当数字过时数据节点与标记的总数据节点之比大于此比率时,请停止避免写入过时节点,以防止产生热点
dfs.permissions.enabledtrue是否启用hdfs上目录权限的检查
dfs.permissions.superusergrouphdfs默认值:supergroup
dfs.replication3块复制数
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值