Spark Streaming运行流程及源码解析（一）

最新推荐文章于 2020-11-07 19:14:14 发布
最新推荐文章于 2020-11-07 19:14:14 发布
阅读量550 收藏 1
点赞数
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ifenggege/article/details/104351582
版权
本文详细介绍了Spark Streaming的运行流程，从启动流处理引擎到接收、存储、处理数据，再到输出数据的整个过程。重点解析了StreamingContext、DStream、JobScheduler等关键类的作用，并提到了接收数据时BlockGenerator的批处理机制。此外，文章还概述了JobGenerator如何生成和执行job，并提及了输出数据的步骤。
摘要由CSDN通过智能技术生成

本系列主要描述Spark Streaming的运行流程，然后对每个流程的源码分别进行解析

之前总听同事说Spark源码有多么棒，咱也不知道，就是疯狂点头。今天也来撸一下Spark源码。

对Spark的使用也就是Spark Streaming使用的多一点，所以就拿Spark Streaming开涮。
搞起

源码中的一些类

这里先列举一些源码中的类，大家先预热一下。

StreamingContext：这是Spark Streaming程序的入口，提供了运行时上下文环境

DStream：是RDD在Spark Streaming中的实现，是连续的RDD（相同类型）序列，表示连续的数据流

JobScheduler：生成和调度job

DStreamGraph：保存DStream之间的依赖关系

JobGenerator：根据DStream依赖生成job

ReceiverTracker：Driver端用于管理ReceiverInputDStreams执行的管家

EventLoop：一个事件循环，用于接收来自调用方的事件并处理事件线程中的所有事件。它将启动一个专用事件线程来处理所有事件。内部使用LinkedBlockingDeque实现。

RecurringTimer：相当于一个定时器，定时执行某个函数

ReceiverSupervisor：Executor端管理Receiver的管家

最低0.47元/天 解锁文章
upupfeng
关注
专栏目录
Spark Streaming原理与代码实例讲解
程序员光剑
06-02 882
Spark Streaming 是Apache Spark生态系统中的核心组件之一,是建立在Spark Core之上的实时流处理框架。它扩展了Spark的核心API,支持弹性,高吞吐,可容错的实时数据流处理。Spark Streaming能够从多种数据源(如Kafka, Flume, HDFS等)实时摄取数据,并以微批次(micro-batch)的方式进行处理,最终将结果推送到外部文件系统、数据库或应用程序中。Spark Streaming已成为流处理领域的主流框架之一。
Spark Streaming 执行流程
weixin_30662849的博客
08-30 118
原文连接http://xiguada.org/spark-streaming-run/‎ Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。 本节描述了Spark Streaming作业的执行流程。 图1 Spark Streaming作业的执行流程 具体流程： ...
Spark学习之15：Spark Streaming执行流程(1)
ktlinker1119的专栏
06-05 2158
本文以spark streaming文档中创建Socket Stream的例子来描述StreamingContext的执行流程。 例子示例代码： val lines = ssc.socketTextStream("localhost", 9999) val words = lines.flatMap(_.split(" ")) val pairs = words.map(word =>
sparkstreaming源码分析
weixin_34043301的博客
03-06 76
做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动 jobschedulerStreamingContext.scaladefstart():Unit=synchro...
Spark Streaming工作流程源码解析
学习笔记
12-23 1589
这篇文章以Spark官方Word Count为例，基于最新的2.0.2版本代码浅析Spark Streaming 的工作流程，这个例子实现了对socket流中的单词进行采集，以秒为单位统计每秒种出现的单词及出现次数。
spark-2.4.0源码
11-24
Spark是Apache软件基金会下的一个开源大数据处理框架，其2.4.0版本是对早期版本的扩展和优化，提供了更高效、稳定和丰富的功能。Spark的核心设计理念是快速、通用和可扩展的数据处理，它通过内存计算大幅度提升了...
Spark DataFrame、Spark SQL、Spark Streaming入门教程
pysense的博客
01-14 2110
文章目录前言1、RDD、Spark DataFrame、Spark SQL、Spark Streaming2、Spark DataFrame2.1 创建基本的Spark DataFrame2.2 从各类数据源创建Spark DataFrame2.3 Spark DataFrame持久化数据2.4 Dataframe常见的API3、Spark SQL4、Spark Streaming实时计算TCP...
SparkStreaming执行流程图及优化
qq_43149023的博客
02-03 701
SparkStreaming读取数据的原理: SparkStreaming是不间断运行的, sparkStreaming启动后, 首先会启动一个job, 这个job有一个task来接受数据, task每隔一段时间将接收来的数据封装到一个batch中,这段时间是batchInterval, 生成的每个batch又被封装到一个RDD中, 这个RDD又被封装到一个DStream中, sparkStrea...
SparkStreaming的运行流程解析（源码）
spark的自由牧场的博客
02-06 2329
ssc.start()启动receiverTracker.start去获取数据启动jobGenerator.start去计算数据receiverTracker.start 在这里的receiverinputStreams其实已经实例化了。在inputDStream的时候已经往ssc.graph中添加了实例(具体去看下我的Sparkstreaming中InputDStream的详解（源码）那篇博客)
SparkStreaming的运行流程
CatherineHuangTT的博客
11-22 2338
运行流程： 1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，然后初始化SparkStreaming的程序入口StreamingContext； 2、Master会为这个Application的运行分配资源，在集群中的一台或者多台Worker上面开启Excuter，executer会向Driver注册；
Spark streaming 执行流程源码图
简单就好
11-02 1266
该图主要是笔者准备硕士毕业论文时基于Spark 1.5 所画，新版本Spark 2.X应该有所变化，但大体流程应该相似，可作为读者学习整体框架流程参考。
第127课： Spark Streaming源码经典解读系列之二：Spark Streaming生成RDD
段智华的博客
06-20 1131
第127课：  Spark Streaming源码经典解读系列之二：Spark Streaming生成RDD并执行Spark Job源码内幕解密. 1 DStream 产生RDD的案例实战 2 DStream 作为RDD的原理机制 3 生产RDD源码解密   http://mp.weixin.qq.com/s?__biz=MzIwMDI0NzYxMQ==&mid=502188021&id
SparkStreaming源码阅读思路
大数据星球-浪尖
06-02 1314
SparkStreaming的DirectAPI源码阅读思路Spark Streaming的流式处理，尤其和kafka的集合，应该是企业应用的关键技术点，作为spark学...
让你真正明白spark streaming（转载自about云）
yyt8582的博客
08-19 1425
问题导读1.为什么使用spark streaming？2.什么是StreamingContext？3.什么是DStream？spark streaming介绍Spark streaming是Spark核心API的一个扩展，它对实时流式数据的处理具有可扩展性、高吞吐量、可容错性等特点。我们可以从kafka、flume、witter、 ZeroMQ、Kinesis等源获取数据，也可以通过由 高阶函数m...
SparkStreaming 源码分析
weixin_30872789的博客
10-18 155
SparkStreaming 分析 (基于1.5版本源码) SparkStreaming 介绍 SparkStreaming是一个流式批处理框架，它的核心执行引擎是Spark,适合处理实时数据与历史数据混合处理的场景。其处理流程如下： 1、 接收实时流数据并持久化 2、 将实时流以时间片切分成多个批次 3、 将每块（一个批次）的数据做为RDD，并用RDD操作处理数据 ...
sparkstreaming的执行流程
wyn1175397098zt的博客
04-13 527
sparkstreaming是准实时处理框架（微批处理：可以设置时间间隔）通过上图总结：    receiver task 是 7*24h一直在执行，一直接收数据，将接受到的数据保存到batch（该一批次的时间间隔bacth interval是自己写的，本例中是5s即batch interval=5s）中，那么就把接收到的数据每隔5s切割刀一个batch中，因为batch是没有分布式计算特性的，但...
spark streaming源码解读
a11a2233445566的专栏
02-05 734
让我们按照源码一步步的解析。请一定一定一定和我们一起跟踪代码。一定要照着做，才能理解。 我们先看下StreamingContext创建的时候有哪些成员变量被初始化了。 看下 StreamingContext.createNewSparkContext(conf) 直接new 了SparkContext，这和我们平常的基于Spark Core编写的程序完全一样。SparkStreami
SparkStreaming执行过程分析
qq_27639777的博客
11-07 895
文章目录简介启动流计算引擎StreamingContext.start启动流计算JobScheduler.start启动Job调度器接收并存储数据Driver端初始化ReceiverTrackerDriver端封装Receiver为RDD，提交Spark Job运行以启动receiverExecutor端启动Receiver并接收存储数据启动BlockGenerator接收并存储block数据启动Receiver接收数据Receiver将接收到的Block存储到BlockGenerator中生成Batch
Spark Streaming源码解析：DStream实时流处理机制
DStream是Spark Streaming对连续数据流的一种抽象，它通过将实时数据流划分为一系列的RDD（Resilient Distributed Dataset）批次，每个批次代表一段时间窗口内的数据。这种方式允许Spark使用已有的RDD处理机制来处理...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值