Spark 图解源码系列之：SparkStreaming Receiver是如何接收数据的？

最新推荐文章于 2022-03-20 21:13:56 发布
最新推荐文章于 2022-03-20 21:13:56 发布
阅读量149 收藏
点赞数
分类专栏： 源码 spark 文章标签： spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_36630761/article/details/108952983
版权

假期不能闲着，水一篇文章，各位看官看过来~

涉及到的几个主要的角色：

  1. ReceiverSupervisor
  2. ReceiverSupervisorImpl (实现类)
  3. Receiver
  4. BlockGenerator
  5. BlockManager
  6. ReceiverTracker

总体流程大致的说一下：

一切从 流 开始我们以   SocketInputDStream 为例子来讲解

下面的这个图是整个的流程详解：是在是没办法，转为图片6M+超过了可以上传的最大值，只能是截图了，需要完整版本的可以留言我给同学私发

 

 

hankl1990
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark Streaming源码解读之Receiver在Driver详解
snail_gesture的博客
05-20 1万+
一：Receiver启动的方式设想 1. Spark Streaming通过Receiver持续不断的从外部数据源接收数据，并把数据汇报给Driver端，由此每个Batch Durations就可以根据汇报的数据生成不同的Job。 2. Receiver属于Spark Streaming应用程序启动阶段，那么我们找Receiver在哪里启动就应该去找Spark Streaming的启动。
spark.streaming.receiver
qq_41634872的博客
05-12 133
1.SocketReciever实现，一条一条读取，让Blockgenerator来收集。 2. RawNetworkreceiver实现，数据尽量读取，直接作为block存入。 三个最重要的类 Reciver:在onstart中接收数据，然后调用自己的store方法存数据。该方法是依赖 ReceiverSupervisor进行的，他里面对不同格式的数据采取不同的处理。 ReceiverSupervisor：处理数据的类，它可以依赖BlockGenerator来处理，也可
Spark Streaming中读取数据的两种方式：基于Receiver的方法，基于Direct方法
蚂蚁
08-11 527
基于Receiver的方法——基于Receiver的方法 此方法使用Receiver接收数据。 Receiver是使用Kafka高级消费者API实现的。 与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark执行器中，然后由Spark Streaming启动的作业处理数据。 但是，在默认配置下，此方法可能会在失败时丢失数据（请参阅接收器可靠性。为确保零数据丢失，您必须在Spa...
Spark Streaming-Receiver启动和数据接收
ZH519080的博客
12-05 632
养成一个记笔记的习惯！！！ 小案例： def fromsocket(ssc: StreamingContext): Unit ={ /**使用updateStateByKey前必须要设置checkpoint*/ ssc.checkpoint("hdfs://zhumaster:8020/data/checkpoint") /** 如使用socket网络嵌套字作为输入模式，使用命令...
Spark Streaming 的 Receiver和 Direct模式
u011500419的专栏
04-15 724
1 两种模式的原理和区别 Receiver模式 1. Receiver模式下的运行架构 1)InputDStream: 从流数据源接收的输入数据。 2)Receiver：负责接收数据流，并将数据写到本地。 3)Streaming Context：代表SparkStreaming，负责Streaming层面的任务调度，生成jobs发送到Spark engine处理。 4)Spark ...
论SparkStreaming的数据可靠性和一致性
01-30
摘要：眼下大数据领域最热门的词汇之一便是流计算了，而其中最耀眼的无疑是来自Spark社区的SparkStreaming项目。对于流计算而言，最核心的特点毫无疑问就是它对低时的需求，但这也带来了相关的数据可靠性问题。由于...
spark-sqs-receiver:Spark SQS 亚马逊队列接收器
06-27
Spark SQS 接收器Spark 的 SQS Amazon 队列接收器，示例用法： ssc.receiverStream( new SQSReceiver ( " sample " ) .credentials(, ) .at( Regions . US_EAST_1 ) .withTimeout( 2 )) 或者 ssc.receiverStream( ...
【SparkStreaming篇01】SparkStreaming之Dstream入门1
08-04
SparkStreaming之Dstream入门 Spark Streaming是Apache Spark中的一个组件，用于处理流式数据。它可以从多种数据源中接收数据，如Kafka、Flume、Twitter、ZeroMQ和简单的TCP套接字等，并使用Spark的高度抽象原语如...
【SparkStreaming篇02】SparkStreaming之Dstream创建1
最新发布
08-04
Receiver类负责从外部系统接收数据。在这个示例中，我们没有给出完整的代码，但通常会实现`onStart`和`onStop`方法，`onStart`用于启动数据接收，`onStop`用于停止接收。接收的数据可以通过Socket或其他协议读取，...
Spark学习笔记Spark Streaming的使用
08-25
Spark Streaming 使用指南 Spark Streaming 是一个基于 Spark Core 之上的实时计算框架，...同时，Spark Streaming 也提供了多种方式来接收数据，例如 Receiver 和 Direct 方式，可以根据不同的需求选择合适的方式。
图解Spark核心技术与案例实战
12-09
图解Spark核心技术与案例实战
Learning.Spark.pdf(英文版)+图解Spark核心技术与案例实战.pdf
12-22
Learning.Spark.pdf(英文版)+图解Spark核心技术与案例实战.pdf
大数据技术之图解Spark原理及实践.pdf
08-20
大数据技术之图解Spark原理及实践，
Spark Streaming Receiver学习
chncaesar的专栏
08-15 340
Receiver工作机制 以org.apache.spark.streaming.dstream.SocketReceiver为例。 一个数据流有一个receiver，在executor上启动。 Receiver监听端口，拉取数据，调用ReceiverSupervisor和BlockGenerator将数据加入BlockGenerator的缓存。在加入缓存前，调用限流器(RateLimite...
大数据系列-SPARK-STREAMING流数据receiver
hudongdong2020的博客
03-20 880
大数据系列-SPARK-STREAMING流数据receiver package com.test import org.apache.spark.SparkConf import org.apache.spark.storage.StorageLevel import org.apache.spark.streaming.receiver.Receiver import org.apache.spark.streaming.{Seconds, StreamingContext} import sca
[spark streaming]Receiver数据接收全过程详解
无
08-29 2997
一、Receiver启动过程回顾 如图，从ReceiverTracker的start方法开始，调用launchReceivers()方法，给endpoint发送消息，endpoint.send(StartAllReceivers(receivers))，endpoint就是ReceiverTrackerEndpoint，ReceiverTrackerEndpoint调用startReceiv...
Spark定制班第9课：Spark Streaming源码解读之Receiver在Driver的精妙实现全生命周期彻底研究和思考
andyshar的博客
05-22 1029
本期内容： 1. Receiver启动的方式设想 2. Receiver启动源码彻底分析 1. Receiver启动的方式设想 　　Spark Streaming是个运行在Spark Core上的应用程序。这个应用程序既要接收数据，还要处理数据，这些都是在分布式的集群中进行的，应该启动多个Job，让它们分工并能协调。Receiver的工作是接收数据，应该是用Spark Co
Spark Streaming自定义Receiver
u013939918的博客
07-25 317
一 背景 Spark社区为Spark Streaming提供了很多数据源接口，但是有些比较偏的数据源没有覆盖，由于公司技术栈选择，用了阿里云的MQ服务ONS，要做实时需求，要自己编写Receiver 二 技术实现 1.官网的例子已经比较详细，但是进入实践还需要慢慢调试，官方文档。 2.实现代码，由三部分组成，receiver，inputstream，util 3.receiver代码 import java.io.Serializable import java.util.Properti
Spark Streaming的Receiver的那些事儿！
KLordy的博客
11-18 584
  这篇文章主要讲解Spark Streaming启动后，在StreamingContext中启动的ReceiverTracker以及这位大哥管理的Receiver的生成以及发布详细过程。我们先介绍Spark Streaming启动ReceiverTracker的过程，然后再提出一些问题，围绕这些问题对Receiver进行进一步的探索。   Spark Streaming启动时通过JobSched...
尚硅谷SparkStreaming V3.0详解：入门与特性
SparkStreaming的核心在于其离散化流(DStream)，这是一种对实时数据流的抽象表示，将连续的数据流分割成一系列时间间隔的RDD（弹性分布式数据集），从而能够利用Spark的并行处理能力。 DStream的设计使得它可以方便...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值