![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark 优化
文章平均质量分 82
A3301
这个作者很懒,什么都没留下…
展开
-
美团Spark性能优化指南——基础篇
前言在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速转载 2016-11-19 11:57:39 · 481 阅读 · 0 评论 -
Spark性能优化——和Shuffle搏斗
如需转载请联系听云College团队成员小尹 邮箱:yinhy#tingyun.comSpark的性能分析和调优很有意思,今天的主要话题是shuffle,当然也牵涉一些其他代码上的小把戏。以前写过一篇文章,比较了几种不同场景的性能优化,包括portal的性能优化,Web Service的性能优化,还有Spark job的性能优化。Spark的性能优化有一些特殊的地方,比如实时性一般转载 2016-11-19 11:58:10 · 481 阅读 · 0 评论 -
数据倾斜
有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜是多么痛?!!!如果数据倾斜没有解决,完全没有可能进行性能调优,其他所有的调优手段都是一个笑话。数据倾斜是最能体现一个spark大数据工程师水平的性能调优问题。数据倾斜如果转载 2016-11-19 12:00:32 · 1033 阅读 · 0 评论