- 博客(13)
- 收藏
- 关注
原创 Hadoop实践(四)---Hadoop性能优化
**Hadoop参数优化的3个原则: (1)增大作业的并行程度,如增加Map任务的数量 (2)保证任务执行时有足够的资源 (3)满足前两个的情况下,尽可能为shuffle阶段提供资源 【以上适用于大部分分布式计算的框架】
2016-09-12 21:32:35 4095
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
碎片时间提升自己
**Hadoop参数优化的3个原则: (1)增大作业的并行程度,如增加Map任务的数量 (2)保证任务执行时有足够的资源 (3)满足前两个的情况下,尽可能为shuffle阶段提供资源 【以上适用于大部分分布式计算的框架】
2016-09-12 21:32:35 4095
TA创建的收藏夹 TA关注的收藏夹
TA关注的人