空空如也

原创 【工程类】【Hadoop】性能调优方法

当我们写完一个MR程序之后，我们希望能够加快程序的执行速度，那么怎么进行性能的调优呢，有如下几种方法？ 1、mapper的数量 适当调整mapper的数量，使得每个mapper的运行时间在1分钟为宜。因为mapper数量过小，则会导致整体速度过慢。太多则导致文件的寻址开销，以及namenode和datanode的交互更加频繁。 2、reducer的数量 集群中reducer的数量应该略少于...