- 博客(2)
- 收藏
- 关注
原创 简单搞定spark的shuffle流程
Shuffle原理剖析与源码分析 1、在Spark中,什么情况下,会发生shuffle?reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。 2、默认的Shuffle操作的原理剖析 3、优化后的Shuffle操作的原理剖析 4、Shuffle相关源码分析 普通的shuffle: 优化后的shuffle:
2017-11-26 15:04:43 10635 8
原创 一图深入理解spark内核
核心组件的交互流程: 在Standalone模式下,Spark中各个组件之间交互还是比较复杂的,但是对于一个通用的分布式计算系统来说,这些都是非常重要而且比较基础的交互。首先,为了理解组件之间的主要交互流程,我们给出一些基本要点: 一个Application会启动一个Driver 一个Driver负责跟踪管理该Application运行过程中所有的资源状态和任务状态 一个Driver
2017-11-23 19:17:13 643
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人