hadoop的datanode多磁盘空间不统一…

转载注明出处

很多网上转载解决如下：

修改hdfs-site.xml:添加

<property>
  <name>dfs.datanode.du.reserved</name>
  <value>214748364800</value>
  <description>Reserved space in bytes per volume. Always leave this much space free for non dfs use.200G  </description>
</property>

不同磁盘空间大小，hadoop将数据平均写入，hadoop并不会自动将数据写到有更大空闲空间的磁盘中，还是会将之前的小磁盘写满，小磁盘写满会使mapreduce产生的临时文件没有空间写，而导致mapreduce执行失败。所以需要小磁盘留有一定的空闲空间，查看hadoop资料，设置 dfs.datanode.du.reserved配置项可以使每个磁盘保留相应的磁盘空间，单位使用bytes，但是我设置之后起作用了，总体容量下降，依然往小盘上写数据，艹艹，我使用的hadoop版本是cloudera的cdh4.6。

后续继续设置

<property>

        <name>dfs.datanode.du.pct</name>

        <value>0.96</value>

        <description>When calculating remaining space, only use this percentage of the real available space</description>

</property>

测试后依然如此。

观察源代码：

./hadoop-hdfs/src/main/java/org/apache/hadoop/hdfs/server/datanode/fsdataset/impl/FsVolumeImpl.java

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

  long getCapacity() {

    long remaining = usage.getCapacity() - reserved;

    return remaining > 0 ? remaining : 0;

  }

 

  @Override

  public long getAvailable() throws IOException {

    long remaining = getCapacity()-getDfsUsed();

    long available = usage.getAvailable();

    if (remaining > available) {

      remaining = available;

    }

    return (remaining > 0) ? remaining : 0;

  }

 

  long getReserved(){

    return reserved;

  }

./hadoop-common-project/hadoop-common/src/main/java/org/apache/hadoop/fs/LocalDirAllocator.java

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35