![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
spark streaming
文章平均质量分 91
feihuanzhuimeng8
这个作者很懒,什么都没留下…
展开
-
第23课:Spark Streaming初始化和关闭源码图解
本期内容: 1. Spark Streaming初始化源码图解 2. Spark Streaming关闭源码图解 首先我们来看接收数据的过程,通过ssc.socketTextStream方法来创建: /** * Create a input stream from TCP source hostname:port. Data is received using * a TCP原创 2016-06-14 17:08:38 · 303 阅读 · 0 评论 -
第24课:Spark Streaming的Transformation、Action、Input和Output源码图解
原创 2016-06-13 19:17:35 · 630 阅读 · 0 评论 -
第22课:Spark Streaming架构源码图解
原创 2016-06-13 16:53:55 · 397 阅读 · 0 评论 -
SparkStreaming 事务处理彻底掌握
1.Exactly once 2.输出不重复 Sparkstreaming应用程序分为两部分 1 Driver : Driver的核心是streamingContext, 2 Executor : 在Executor中Receiver接收到数据并把数据(metadata)汇报给driver,收到数据之后,为了数据的安全性进行checkpoint(包含con原创 2016-05-06 22:41:07 · 2736 阅读 · 0 评论 -
第25课:Spark Streaming的StreamingContext启动及JobScheduler启动源码图解
本期内容: 1. StreamingContext启动源码图解 2. JobScheduler启动源码图解 StreamingContext的start方法对INITIALIZED、ACTIVE、STOPPED等状态分别做不同处理。 /** * Start the execution of the streams. * * @throws IllegalStateExce原创 2016-06-14 18:43:45 · 1619 阅读 · 0 评论