- 博客(15)
- 收藏
- 关注
RSS订阅转载 Spark版本定制第13天：Driver容错
本期内容1、ReceivedBlockTracker容错安全性2、DStreamGraph和JobGenerator容错安全性 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spar...
2016-05-24 11:23:00
138
转载 Spark版本定制第12天：Executor容错安全性
本期内容：1 Executor WAL2 消息重放3 其他 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个...
2016-05-24 11:03:00
153
转载 Spark版本定制第11天：Driver中的ReceiverTracker架构设计以及具体实现彻底研究
本期内容：1RecerverTracker架构设计2 ReververTacker具体实现 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说...
2016-05-24 10:38:00
127
转载 Spark版本定制第10天：流数据生命周期和思考
本期内容：1数据流生命周期2深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个流式处理框架，不如说是...
2016-05-22 13:29:00
113
转载 Spark版本定制第9天：Receiver在Driver的精妙实现全生命周期彻底研究和思考
本期内容：1Receiver生命周期2深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个流式处理框架...
2016-05-22 13:18:00
119
转载 Spark版本定制第8天：RDD生成生命周期彻底
本期内容：1RDD生成生命周期2深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个流式处理框架，不如...
2016-05-22 13:02:00
188
转载 Spark版本定制第7天：JobScheduler内幕实现和深度思考
本期内容：1JobScheduler内幕实现2深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个流式...
2016-05-22 12:41:00
119
转载 Spark版本定制第6天：Job动态生成和深度思考
本期内容：1Job动态生成2深度思考 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个流式处理框架，不如说是...
2016-05-22 12:29:00
159
转载 Spark学习笔记之32：Spark Worker启动Driver和Executor工作流程
一：Worker启动Driver和Executor的工作原理流程图二：Spark Worker启动Driver源码解析 case LaunchDriver(driverId, driverDesc) => { logInfo(s"Asked to launch driver $driverId") val driver = new...
2016-05-09 18:45:00
198
转载 Spark学习笔记之31：Spark资源调度
一：任务调度和资源调度的区别:任务调度是指通过DAGScheduler，TaskScheduler，SchedulerBackend完成的job的调度资源调度是指应用程序获取资源的调度，他是通过schedule方法完成的二：资源调度解密因为master负责资源管理和调度，所以资源调度的方法schedule位于master.scala这个了类中，当注册程序或者资源发生改变的...
2016-05-08 21:08:00
124
转载 Spark版本定制第5天：案列解析Spark Streaming运行源码
本期内容：1在线动态计算分类最热门商品案例回顾与演示2基于案例贯通Spark Streaming的运行源码 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Stream...
2016-05-08 12:54:00
151
转载 Spark版本定制第4天：Exactly Once的事务处理
本期内容：1 Exactly once 容错2 数据输出不重复 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时与其说是Spark Core上的一个...
2016-05-08 01:28:00
141
转载 Spark版本定制第3天：通过案例对SparkStreaming透彻理解之三
本期内容：1 解密Spark Streaming Job架构和运行机制2 解密Spark Streaming 容错架构和运行机制 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 ...
2016-05-04 01:23:00
101
转载 Spark版本定制第2天：通过案例对SparkStreaming透彻理解之二
本期内容：1 解密Spark Streaming运行机制2 解密Spark Streaming架构 一切不能进行实时流处理的数据都是无效的数据。在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。 Spark Streaming运行时...
2016-05-03 01:22:00
150
转载 Spark版本定制第1天：通过案例对SparkStreaming透彻理解之一
本期内容：1 Spark Streaming另类在线实验2 瞬间理解Spark Streaming本质在流处理时代，SparkStreaming有着强大吸引力，而且发展前景广阔，加之Spark的生态系统，Streaming可以方便调用其他的诸如SQL，MLlib等强大框架，它必将一统天下。这里选择Spark Streaming作为版本定制的切入点也是大势所趋。小技巧：将B...
2016-05-02 01:58:00
118
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人