Spark 源码学习
文章平均质量分 77
大号蜗牛
这个作者很懒,什么都没留下…
展开
-
第34课:Stage划分和Task最佳位置算法源码彻底解密
一:Stage 划分算法解密 1.spark Application 中可以因为不同的action触发众多的JOB,也就是说一个Application可以产生很多job,每个job是由一个或者多个stage构成的,后面的的stage依赖前面的Stage,也就是说只有只有前面依赖的Stage计算完成,后面的Stage才会运行 2.Stage 划分的时候会产生宽依赖,什么算子会产生宽原创 2016-02-27 22:07:21 · 598 阅读 · 0 评论 -
第1课:通过案例对SparkStreaming 透彻理解三板斧
1 Spark Streaming另类在线实验2 瞬间理解Spark Streaming本质代码如下:import org.apache.spark.SparkConfimport org.apache.spark.storage.StorageLevelimport org.apache.spark.streaming.{Seconds, StreamingContext}/原创 2016-05-01 16:42:18 · 23059 阅读 · 0 评论