一台master,一台slave10G数据total order排序用时2694秒
Launched map tasks=160
Data-local map tasks=160
Launched reduce tasks=1
10G数据,一开始一台slave,动态加入第二台slave,使用负载平衡,转移4.5G数据到第二台slave,两次一次用时1543秒,一次1380秒
Launched reduce tasks=4
Launched map tasks=162
Data-local map tasks=134
Rack-local map tasks=28
工作时带宽消耗:每台机器的流入和流出峰值都在23M左右,而且不是恒定的,一直是变化的
冗余备份机制测试:一开始一台datanode,但是表明冗余备份为2,在这台data上只有一份备份,这时动态加入一台datanode会发现,因为备份为2,新加入的机器会自动开始存储一份备份,速度是10M/s(应该是hadoop为其他任务考虑,不占用过多带宽)
排序一次用时1857,一次1747秒