Hadoop实验

 

一台master，一台slave10G数据total order排序用时2694秒

Launched map tasks=160

Data-local map tasks=160

Launched reduce tasks=1

 

10G数据，一开始一台slave，动态加入第二台slave，使用负载平衡，转移4.5G数据到第二台slave，两次一次用时1543秒，一次1380秒

Launched reduce tasks=4

Launched map tasks=162

Data-local map tasks=134

Rack-local map tasks=28

工作时带宽消耗：每台机器的流入和流出峰值都在23M左右，而且不是恒定的，一直是变化的

 

 

冗余备份机制测试：一开始一台datanode,但是表明冗余备份为2，在这台data上只有一份备份，这时动态加入一台datanode会发现，因为备份为2，新加入的机器会自动开始存储一份备份，速度是10M/s(应该是hadoop为其他任务考虑，不占用过多带宽)

排序一次用时1857，一次1747秒