在cdh集群中使用命令行 hdfs balancer -threshold 5 开启动态平衡输出日志,我们通常想知道这次动态平衡的数据量及进度信息,日志中包含了这些信息。日志信息如下:
19/04/21 07:23:57 INFO balancer.Balancer: Need to move 150.29 TB to make the cluster balanced.
Apr 21, 2019 7:25:28 AM 430 25.36 TB 150.29 TB 60 GB
日志信息介绍:
Need to move 150.29 TB to make the cluster balanced
这行表示整个集群还需要进行平衡的数据总量
Apr 21, 2019 7:25:28 AM 430 25.36 TB 150.29 TB 60 GB
Apr 21, 2019 7:25:28 AM 日志输出时间
430 表示此次平衡已经执行的次数
25.36TB 表示已经平衡的数据量
150.29 TB 表示剩余需要平衡的数据量
60 GB 表示每批次平衡的数据量大小。上面的430次,就是此次执行balance后 60GB/次 累计的。