飞鱼的博客

原创 spark优化之数据倾斜

数据倾斜的概念    有的时候，我们可能会遇到大数据计算中一个最棘手的问题--数据倾斜，此时spark作业的性能会比期望的差的多。数据倾斜调优，就是使用各种技术方案解决不同类型的数据倾斜问题以保证spark作业的性能    绝大多数task执行的都非常快，但个别task执行极慢，比如，总共有1000个task，997个task都在一分钟内执行完了，但是剩余两三个taks需要一两个小时，这种情况