![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
工具
我的灯还亮着
这个作者很懒,什么都没留下…
展开
-
由aggregateByKey看到spark的性能调优
工作一个月,重心都放在spark上,最近多处理K-V结构,对aggregate函数有了一些理解,首先,这是一个高效的函数。 首先要了解,spark的核心思想就是并行计算,对于Pari RDD(K-V数据结构),一个 key 的所有值不一定都在一个同一个 paritition 分区里,甚至是不一定在同一台机器里,但是它们必须共同被计算,那么在聚合的过程中,自然地能够想到是先本地聚合再发送数据做聚合...原创 2018-09-08 11:00:23 · 645 阅读 · 3 评论 -
美团实践—spark任务调优以及spark job运行原理
在大数据计算领域,Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作,应用范围与前景非常广泛。在美团•大众点评,已经有很多同学在各种项目中尝试使用Spark。大多数同学(包括笔者在内),最初开始尝试使用Spark的原因很简单,主要就是为了让大数据计算作业的执行速度更快、性能...转载 2019-03-13 11:26:43 · 364 阅读 · 0 评论 -
美团如何缓解数据倾斜与shuffle调优
继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后,本文作为《Spark性能优化指南》的高级篇,将深入分析数据倾斜调优与shuffle调优,以解决更加棘手的性能问题。调优概述有的时候,我们可能会遇到大数据计算中一个最棘手的问题——数据倾斜,此时Spark作业的性能会比期望差很多。数据倾斜调优,就是使用各种技术方案解决不同类型的数据倾斜问题,以保证Spark作业的性能。数据倾斜发...转载 2019-03-13 11:29:46 · 1109 阅读 · 2 评论