hadoop涉及到分摊磁盘io负载的配置

本文介绍了如何通过配置Hadoop的datanode block存放目录和YARN的nodemanager来分摊磁盘IO负载。关键配置包括在`dfs.datanode.data.dir`中设置多个磁盘路径,以及在`yarn.nodemanager.local-dirs`和`yarn.nodemanager.log-dirs`中分散中间结果和日志存储。
摘要由CSDN通过智能技术生成

配置datanode block存放目录的时候,机器多磁盘能分摊磁盘IO负载,以下配置

<property>
             <name>dfs.datanode.data.dir</name>
             <value>file:/data2/hadoop/hd_space/dfs/data,file:/data3/hadoop/hd_space/dfs/data.........</value>
</property>

<property>

            <name>dfs.datanode.fsdataset.volume.choosing.policy</name>
            <value>org.apache.hadoop.hdfs.server.datanode.fsdataset.AvailableSpaceVolumeChoosingPolicy</value>
             <description>
                  datanode数据副本存放的磁盘选择策略,有2种方式一种是轮询方式(org.apache.hadoop.hdfs.server.datanode.fsdataset.RoundRobinVolumeChoosingPolicy,为默认方式),
                  另一种为选择可用空间足够多的磁盘存储方式,这个为了防止各个节点上的各个磁盘的存储均匀采用这个方式。
            </description>
 </property>
<property>
            <name>dfs.datanode.availa
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值