- 博客(2)
- 收藏
- 关注
RSS订阅原创 简单搞定spark的shuffle流程
Shuffle原理剖析与源码分析 1、在Spark中，什么情况下，会发生shuffle？reduceByKey、groupByKey、sortByKey、countByKey、join、cogroup等操作。 2、默认的Shuffle操作的原理剖析 3、优化后的Shuffle操作的原理剖析 4、Shuffle相关源码分析 普通的shuffle： 优化后的shuffle：
2017-11-26 15:04:43
10635
8
原创 一图深入理解spark内核
核心组件的交互流程： 在Standalone模式下，Spark中各个组件之间交互还是比较复杂的，但是对于一个通用的分布式计算系统来说，这些都是非常重要而且比较基础的交互。首先，为了理解组件之间的主要交互流程，我们给出一些基本要点： 一个Application会启动一个Driver 一个Driver负责跟踪管理该Application运行过程中所有的资源状态和任务状态 一个Driver
2017-11-23 19:17:13
643
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人