亚瑟的守护的专栏

原创 Hadoop优化点记录

1、  combiner函数，规约Map的结果，降低Reduce的压力 2、  定期运行均衡器，平衡集群上的数据块分布。 3、  对map的中间结果进行压缩(对优化可能有用) mapper的数量 mapper需要运行多长时间？如果平均只要几秒钟，则可以看是否能用更少 mapper运行更长的时间，通常是一分钟左右。时间长度取决于使用的输入格式。 7.2.2