DT大数据梦工厂Spark定制班笔记(005)

Spark Streaming Job运行流程图


所有代码分析均基于Apache Spark1.6.1

Spark Streaming初始化

Spark Streaming初始化的时候,会初始化一系列对下如SparkContext, DStreamGraph和JobScheduler等。

具体代码可以参照StreamingContext.scala (136-183行)。


JobScheduler在初始化过程中,会初始化JobGenerator和StreamingListenerBus。

代码如下,分别为JobScheduler.scala 53行,55行。

private val jobGenerator = new JobGenerator(this) 
val listenerBus = new StreamingListenerBus(ssc.sparkContext.listenerBus)

其中JobGenerator在初始化过程中会初始化RecurringTimer对象(JobGenerator.scala 60-61行)。

private val timer = new RecurringTimer(clock, ssc.graph.batchDuration.milliseconds,
  longTime => eventLoop.post(GenerateJobs(new Time(longTime))), "JobGenerator")

该对象会定时向EventLoop发送GenerateJobs。


设置InputStream

ssc.socketTextStream()

socketTextStream的定义如下(StreamingContext 297行)

def socketTextStream(
    hostname: String,
    port: Int,
    storageLevel: StorageLevel = StorageLevel.MEMORY_AND_DISK_SER_2
  ): ReceiverInputDStream[String] = withNamedScope("socket text stream") {
  socketStream[String](hostname, port, SocketReceiver.bytesToLines, storageLevel)
}
其返回类型为 ReceiverInputDStream,内部调用 socketStream。

def socketStream[T: ClassTag](
    hostname: String,
    port: Int,
    converter: (InputStream) => Iterator[T],
    storageLevel: StorageLevel
  ): ReceiverInputDStream[T] = {
  new SocketInputDStream[T](this, hostname, port, converter, storageLevel)
}
 
SocketInPutDStream的继承关系如下:

SocketInputDStream -> ReceiverInputDStream -> InputDStream -> DStream


其中InputDStream在初始化过程中会执行如下操作 InputDStream.scala (47行)

ssc.graph.addInputStream(this)
将SocketINputDStream实例加入到DStreamGraph数据结构inputStreams中
 
调用Print操作

最终会将输出流加入到DStreamGraph的outputStreams中

代码分析稍后奉上。


Streaming Job启动

Streamming Job启动后,会通过JobScheduler相继启动receiverTracker和jobGenerator


1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看REaDME.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。 1、资源项目源码均已通过严格测试验证,保证能够正常运行; 2、项目问题、技术讨论,可以给博主私信或留言,博主看到后会第一时间与您进行沟通; 3、本项目比较适合计算机领域相关的毕业设计课题、课程作业等使用,尤其对于人工智能、计算机科学与技术等相关专业,更为适合; 4、下载使用后,可先查看README.md或论文文件(如有),本项目仅用作交流学习参考,请切勿用于商业用途。 5、资源来自互联网采集,如有侵权,私聊博主删除。 6、可私信博主看论文后选择购买源代码。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值