![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Streaming
水中舟_luyl
这是我的qq:1294877059,希望能在spark的天地上越来越强。。。。
展开
-
SparkStreaming案例:NetworkWordCount--ReceiverInputDstream的compute方法如何取得Socket预先存放在BlockManager中的数据
1, 还是从这个案例开始object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2) { System.err.println("Usage: NetworkWordCount <hostname> <port>") System.exi...原创 2018-02-26 15:52:41 · 454 阅读 · 0 评论 -
SparkStreaming案例:NetworkWordCount--ReceiverSupervisorImpl.onStart()如何将Reciver数据写到BlockManager中
上文提到“ReceiverInputDstream的Receiver是如何被放到Executor上执行的”关键代码ReceiverSupervisorImpl的start方法。 val startReceiverFunc: Iterator[Receiver[_]] => Unit = (iterator: Iterator[Receiver[_]]) => { if (!...原创 2018-02-09 15:27:59 · 357 阅读 · 0 评论 -
SparkStreaming案例:NetworkWordCount--spark如何使用ListenerBus实现类似js监听事件效果
1, 还是从案例开始顺藤摸瓜object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2) { System.err.println("Usage: NetworkWordCount <hostname> <port>") System.e...原创 2018-02-09 11:52:17 · 407 阅读 · 0 评论 -
SparkStreaming案例:NetworkWordCount--ReceiverInputDstream的Receiver是如何被放到Executor上执行的?
1, 还是从案例开始顺藤摸瓜object NetworkWordCount { def main(args: Array[String]) { if (args.length < 2) { System.err.println("Usage: NetworkWordCount <hostname> <port>") System.e...原创 2018-02-09 14:55:31 · 499 阅读 · 0 评论 -
SparkStream例子HdfsWordCount--Streaming的Job是如何调度的
上一篇“SparkStream例子HdfsWordCount--从Dstream到RDD全过程解析”解析了每个Dstream周期内,是如何生成的RDD的。该篇描述一下RDD变成Streaming的Job之后,如何到Executor上面执行开发者写的foreachFunc(rdd,time)的过程。四、 Streaming的Job是如何进行调度执行的? 1, 在DstreamGr原创 2018-01-09 14:51:58 · 221 阅读 · 0 评论 -
SparkStream例子HdfsWordCount--从Dstream到RDD全过程解析
上一篇SparkStream例子HdfsWordCount--InputDStream及OutputDstream是如何进入DStreamGraph中:分析了InputDstream及OutputDstream如何进入DStreamGraph,这个单元分析一下FileInputDstream如何生成的RDD.三、 FileInputDStream是如何生成RDD的呢? 1,入口是咱原创 2018-01-04 17:51:43 · 419 阅读 · 0 评论 -
SparkStream例子HdfsWordCount--InputDStream及OutputDstream是如何进入DStreamGraph中
先分析一下Dstream的子类:A,从上图可以发现子类InputDstream都是属于数据源Dstream;InputDStream分成两个类型,一种是ReceiverInputDstream,一种不需要实现ReceiverInputDstream.如FileInputDStream。B,上图中ForEachDStream就是OutputDstream:所有output算子最终都会调用到这原创 2018-01-09 14:46:21 · 790 阅读 · 0 评论 -
SparkStream源码分析:JobScheduler的JobStarted、JobCompleted是怎么被调用的
一,从StreamingContext.start()进入===>在SparkContext有一个JobScheduler成员会被初始化,JobScheduler会被StreamingContext.start()被调用private[streaming]val scheduler =new JobScheduler(this)二,跟进入JobScheduler的s原创 2017-12-21 19:42:14 · 377 阅读 · 0 评论 -
SparkStreaming案例:NetworkWordCount--ReceiverSupervisorImpl中的startReceiver(),Receiver如何将数据store到RDD
接着上文“ReceiverSupervisorImpl.onStart()如何得到Reciver的数据写到spark的BlockManager中”往下分析startReceiver()方法1,supervisor.start()该方法是启动Receiver开始在Executor上接收数据的入口start()方法是在ReceiverSupervisorImpl的父类ReceiverSuperviso...原创 2018-02-24 16:11:40 · 420 阅读 · 0 评论