TeraSort实验--测试Map和Reduce Task数量对Hadoop性能的影响

 

一、           实验环境

1个master节点, 16个slave节点: CPU:8GHZ , 内存: 2G

网络：局域网

二、           实验描述

   通过Hadoop自带的Terasort排序程序，测试不同的map task和reduce task数量，对Hadoop性能的影响。

   实验数据由程序中的teragen程序生成，数据量为1GB和10GB。

   通过设置mapred.min.split.size，从而调节map task的数量；设置mapred.reduce.tasks，从而调节reduce task的数量；

   dfs.replication的值设为3，其它参数默认。

三、           实验结果与分析

 

Ø  实验一

 

                表1、改变reduce task（数据量为1GB)

Map task = 16
Reduce task	1	5	10	15	16	20	25	30	45	60
总时间	892	146	110	92	88	100	128	101	145	104
Map 时间	24	21	25	50	21