- 博客(7)
- 收藏
- 关注
RSS订阅原创 第7课：Spark Streaming源码解读之JobScheduler内幕实现和深度思考
JobScheduler是SparkStreaming调度的核心，相当于Spark Core中高度中心的DAGScheduler。StreamingContext的start方法/** * Start the execution of the streams. * * @throws IllegalStateException if the StreamingContext i
2016-05-30 22:58:37
569
原创 第6课：Spark Streaming源码解读之Job动态生成和深度思考
1. DStream三种类型：1) 输入的DStreams: Kafka，Socket，Flume；2) 输出的DStreams，是一个逻辑级的Action，它是SparkStreaming框架提出的，底层还是会被翻译成物理级别的Action，所谓物理级别的Action是RDD的Action；3) 中间的Transformation, 业务逻辑处理 2. 产生DStream
2016-05-29 12:54:53
360
原创 第5课：基于案例一节课贯通Spark Streaming流计算框架的运行源码
SparkStreaming,贯通Spark Streaming流计算框架,源码
2016-05-08 14:17:51
1702
原创 第3课：通过案例对SparkStreaming 透彻理解三板斧之三：解密SparkStreaming运行机制和架构进阶
SparkStreaming
2016-05-07 15:49:09
2151
原创 第2课：通过案例对SparkStreaming透彻理解三板斧之二：解密SparkStreaming运行机制和架构
Spark Streaming运行机制
2016-05-07 14:08:57
719
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人