1,通过修改map的切片大小控制map数据量(尽量和block大小保持一致)
并不是map越多越好,根据集群资源
set mapred.max.split.size=256000000
2,合并小文件。因为一个文件会至少生成一个map
3,避免数据倾斜
4,combine操作
5,mapjoin操作
6,适当备份,因为备份多可以本地化生成map任务
mapreduce优化总结
最新推荐文章于 2024-08-19 23:44:21 发布
1,通过修改map的切片大小控制map数据量(尽量和block大小保持一致)
并不是map越多越好,根据集群资源
set mapred.max.split.size=256000000
2,合并小文件。因为一个文件会至少生成一个map
3,避免数据倾斜
4,combine操作
5,mapjoin操作
6,适当备份,因为备份多可以本地化生成map任务