![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark
jwshs
这个作者很懒,什么都没留下…
展开
-
数据倾斜以及spark的shuffle过程
Spark性能优化指南——高级篇(美团技术团队)转载 2019-04-27 11:30:01 · 137 阅读 · 0 评论 -
spark中reduceByKey、groupByKey、combineByKey的区别
reduceByKey reduceByKey用于对每个key对应的多个value进行merge操作,最重要的是它能够在本地先进行merge操作,并且merge操作可以通过函数自定义; groupByKey groupByKey也是对每个key进行操作,但只生成一个sequence,groupByKey本身不能自定义函数,需要先生成RDD,然后才能对此RDD通过map进行自定义函数操作 比较发...原创 2019-04-27 16:17:37 · 535 阅读 · 0 评论