Spark Streaming 作业调度流程

最新推荐文章于 2022-03-17 15:57:09 发布
原创 最新推荐文章于 2022-03-17 15:57:09 发布 · 1.6k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文介绍了StreamingContext的核心组件及其工作原理。详细解释了JobGenerator如何根据固定时间间隔生成任务并提交给JobScheduler，以及JobScheduler如何调度这些任务在Spark集群中执行。此外，还提到了ReceiverTracker和KafkaReceiver的作用，特别是在数据接收与存储方面。
StreamingContext在实例化时候会创建DStreamGraph、JobGenerator、JobScheduler

下面组件运行在Driver
1.JobGenerator：
通过timmer根据固定时间间隔(Batch Interval)不断的产生Job
(其实此时的Job相当于java的Runnable类型实例)，Job会提交给JobScheduler
2.JobScheduler：
接收到Job后会通过线程池的方式提交给SparkCluster执行
3.ReceiverTracker：

下面组件运行在Executor
3.KafkaReceiver：
根据设定的Batch Interval不断的通过(多)线程获取kafka中的数据，然后通过BlockManager存储到Executor,为了数据安全，采用WAL(writer ahead log)

spark作业调度原理
Deegue
05-31 5017
概述         spark有多种方式调度各个计算所需的资源.         首先，每个application（即sparkContext实例）有一组独立的Executor进程。各种cluster manager（yarn Resource manager，standalone master等等）为application间的调度提供自己的方式。         其次，一个applicatio...
SparkStreaming系列（一）SparkStreaming工作原理及流程操作---揭开实时流的本质--如何操作实时流数据
qq_35050438的博客
08-23 819
写在前面： 我是「nicedays」，一枚喜爱做特效，听音乐，分享技术的大数据开发猿。这名字是来自world order乐队的一首HAVE A NICE DAY。如今，走到现在很多坎坷和不顺，如今终于明白nice day是需要自己赋予的。 白驹过隙，时光荏苒，珍惜当下~~ 写博客一方面是对自己学习的一点点总结及记录，另一方面则是希望能够帮助更多对大数据感兴趣的朋友。如果你也对 大数据与机器学习感兴趣，可以关注我的动态 https://blog.csdn.net/qq_35050438，让我们一起挖掘数据与.
一个spark streaming+Cassandra、分布式作业调度系统总结
03-10
一个项目的总结文档，英文，主要功能： 1、分布式作业管理、调度、监控； 2、基于spark streaming+Cassandra的实时分析和监控，包括性能分析、账号安全主动防御。 web部分采用spring boot开发，前端采用angularJS组织页面相关的各个部分，系统的技术和效果在2016~2017年在行业具有一定先进性。
spark internal - 作业调度
热门推荐
colorant的专栏
04-18 1万+
作者：刘旭晖 Raymond 转载请注明出处 Email：colorant at 163.com BLOG：http://blog.csdn.net/colorant/ 在Spark中作业调度的相关类最重要的就是DAGScheduler，DAGScheduler顾名思义就是基于DAG图的Scheduler DAG全称 Directed Acyclic
Spark作业调度
weixin_34319999的博客
02-02 120
　　Spark在standalone模式下，默认是使用FIFO的模式，我们可以使用spark.cores.max 来设置它的最大核心数，使用spark.executor.memory 来设置它的内存。      在YARN模式下，使用--num-workers设置worker的数量，使用--worker-memory设置work的内存，使用--worker-cores设置worker的核心数。 ...
SparkStreaming执行过程分析
qq_27639777的博客
11-07 1003
文章目录简介启动流计算引擎StreamingContext.start启动流计算JobScheduler.start启动Job调度器接收并存储数据Driver端初始化ReceiverTrackerDriver端封装Receiver为RDD，提交Spark Job运行以启动receiverExecutor端启动Receiver并接收存储数据启动BlockGenerator接收并存储block数据启动Receiver接收数据Receiver将接收到的Block存储到BlockGenerator中生成Batch
基于Spark Streaming的大数据实时流计算平台和框架，并且是基于运行在yarn模式运行的spark streaming
05-08
一个完善的Spark Streaming二次封装开源框架，包含：实时流任务调度、kafka偏移量管理，web后台管理，web api启动、停止spark streaming，宕机告警、自动重启等等功能支持，用户只需要关心业务代码，无需关注繁琐的...
spark Streaming和structed streaming分析
04-23
JobScheduler和JobSet是Spark Streaming中的关键组件，负责调度执行实时任务。JobScheduler负责调度JobSet，而JobSet则是要执行的作业的集合。此外，JobGenerator是DStreamGraph的子类，负责生成作业（Job）。 ...
Spark Streaming
weixin_57821489的博客
03-17 3905
Spark Streaming介绍 随着大数据的发展，人们对大数据的处理要求也越来越高，传统的MapReduce等批处理框架在某些特定领域（如实时用户推荐、用户行为分析）已经无法满足人们对实时性的需求，因此诞生了一批如S4、Storm的流式的、实时计算框架。而Spark由于其优秀的调度机制，快速的分布式计算能力，能够以极快的速度进行迭代运算。正是由于Spark的这些优势，使得Spark能够在某种程度上进行实时处理，Spark Streaming正是构建在此之上的流式框架。 Spark Streaming作为
Spark Streaming 执行流程
weixin_30662849的博客
08-30 183
原文连接http://xiguada.org/spark-streaming-run/‎ Spark Streaming 是基于spark的流式批处理引擎，其基本原理是把输入数据以某一时间间隔批量的处理，当批处理间隔缩短到秒级时，便可以用于处理实时数据流。 本节描述了Spark Streaming作业的执行流程。 图1 Spark Streaming作业的执行流程 具体流程： ...
SparkStreaming简单介绍；SparkStreaming处理数据流程；SparkStreaming运行工作原理与简单优化
蚂蚁
08-10 1327
SparkStreaming简单介绍 流式数据处理（stream processing） 要处理的数据就像流水一样，源源不断的产生数据，需要实时进行处理 对SparkCore的高级API的封装，将流式的数据切分为小的批次batch（按照时间间隔）的数据，然后使用SparkCore进行处理 返回数据集合类型：DStream集合，List<RDD> StreamingContext:上下文...
SparkStreaming的运行流程
CatherineHuangTT的博客
11-22 2433
运行流程： 1、我们在集群中的其中一台机器上提交我们的Application Jar，然后就会产生一个Application，开启一个Driver，然后初始化SparkStreaming的程序入口StreamingContext； 2、Master会为这个Application的运行分配资源，在集群中的一台或者多台Worker上面开启Excuter，executer会向Driver注册；
Spark源码阅读——streaming模块作业生成和提交
weixin_33863087的博客
03-28 218
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark 作业调度
houzhizhen的专栏
10-17 677
概述 Spark有几个在计算中调度资源的工具。首先需要记得，正如集群模式概述中描述的那样，每个Spark应用中（SparkContext实例）都运行着一组独立的执行进程。Spark运行在的集群管理器提供了应用间调度的工具。第二，在每个Spark应用中，由不同线程提交的多个“jobs”（Spark actions）可以同时运行。在处理网络请求的应用中这很常见，比如Shark服务器就以这种方式
spark作业调度
可可的专栏
04-25 1532
spark调度分为两种，一是应用之间的，二是应用内部作业的。 本文主要介绍spark应用内部的作业调度，多线程提交作业的情况下，各个job的调度方式。详细介绍了FIFO与Fair调度算法的原理、源码与案例。 结合thriftserver介绍了SQL级别的作业调度
spark streaming源码分析3 调度及运行
zhu's 专栏
10-13 1037
博客地址: http://blog.csdn.net/yueqian_zhu/ 前面的两节内容介绍了StreamingContext的构造以及在此上的一系列操作。 通过调用start方法，真正开始调度执行。首先校验状态是否是INITIALIZED,然后调用JobScheduler的start方法，并将状态设置为ACTIVE。 1、首先构造一个事件类型为［JobSchedulerEvent］的循环器eventLoop（包含JobStarted，JobCompleted，ErrorReported三个事件），内
SparkStreaming数据处理过程
放肆桀骜
05-30 1189
简介 SparkStreaming是流式处理框架，是Spark API的扩展，支持可扩展、高吞吐量、容错的实时数据流处理，实时数据的来源可以是：Kafka, Flume, Twitter, ZeroMQ或者TCP sockets，并且可以使用高级功能的复杂算子来处理流数据。例如:map, reduce, join, window 。最终，处理后的数据可以存放在文件系统，数据库等，方便实时展现。 ...
spark streaming 流程
aa1358075776的博客
09-06 754
1.读取kafka，先用redirect方式读取到数据，再取出变量DStream读取到offset，再用读取成rdd的方式读取kafka（适合批量处理，并且spark的该方法需要offset），此处需要两次读取kafka相同的数据，暂时没找到更合适的方案 原因是redirect读取到的DStream暂时没有找到很好的方式处理 2.kafka记录有且只处理一次高可用的实现：kafka commi...
简述Spark Streaming 的工作流程
最新发布
05-16
### Spark Streaming 的工作流程详解 Spark Streaming 是一种基于微批量模型的大规模实时数据流处理框架。它的主要目标是提供高吞吐量、容错性强的流式计算能力。以下是 Spark Streaming 的详细工作流程解析： ---...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值