- 博客(2)
- 收藏
- 关注
RSS订阅原创 浅谈大数据处理工作中数据倾斜问题的解决方案
一 概述 本文整理了笔者再从事大数据处理工作中对于数据倾斜问题的各类解决方案 二 现象 在hadoop，spark等分布式计算框架中运行某个作业时，发现某个算子（可能是map，也可能是reduce）执行特别慢 在hadoop中还不算特别致命，就是慢点，最终往往还是能算出结果，但是在spark等基于内存的计算框架中则很可能是致命的 往往会导致内存溢出或频繁的jvm ful
2017-07-31 00:15:57
1874
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人