Spark Streaming的Receiver和Direct容错方式

最新推荐文章于 2022-05-07 19:50:16 发布
最新推荐文章于 2022-05-07 19:50:16 发布
阅读量274 收藏
点赞数
分类专栏： 大数据Spark Streaming专栏 文章标签： 大数据 分布式 Spark streaming spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43665254/article/details/113754599
版权

Receiver容错：

在这里插入图片描述
Reveiver两种出错方式
①WAL预写出现问题，因为我们offset没有更新，所以可以从kafka中重新拉取数据
②处理时出现问题，导致进程挂掉，通过ResourceManager找到另外的worker节点上来启动AM，AM找到对应的container，从checkpoint恢复这些上下文代码逻辑计算。数据可以从WAL中进行获取，重新跑起来，数据处理成功后，从memory内存中删除，再从WAL中删掉，更新Offset

Direct 容错

在这里插入图片描述
ZK/redis/mysql保存offset-end就可以。
Direct模式，容错由Kafka保证
如果1,2数据块执行失败，offset没有更新，进行重新拉取到memory内存中

栗子呀！
关注
专栏目录
[Spark streaming基础]--消费Kafka的方式对比(Receiver-based Approach vs Direct Approach)
欢迎来到我的博客，一起探索代码里的世界！
04-08 1243
原文链接：https://www.jianshu.com/p/b4af851286e5前言这个算是Spark Streaming 接收数据相关的第三篇文章了。 前面两篇是：Spark Streaming 数据产生与导入相关的内存分析Spark Streaming 数据接收优化Spark Streaming 接受数据的方式有两种：Receiver-based ApproachDirect Appro...
Spark streaming基于kafka 以Receiver方式获取数据 原理和案例实战
吾心光明
08-21 4575
本博文讲述的内容主要包括：１，SparkStreaming on Kafka Receiver 工作原理机制 2，SparkStreaming on Kafka Receiver案例实战 3，SparkStreaming on Kafka Receiver源码解析一：SparkStreaming on Kafka Receiver 简介：1、Spark-Streaming获取kafka数据的两种
Spark Streaming 连接kafka Receiver and Direct（官网自译）
赵炳泉的博客
11-19 295
转载请标明出处
六.Spark Streaming之kafka容错性测试
飞翔的宇宙
11-19 278
第一步.启动三个broker:      不知道的参考链接 第二步.测试 1).通过命令查看节点的详细信息: kafka-topics.sh --describe --zookeeper hadoop000:2181 显示如下: Topic:ligh-replicated-topic PartitionCount:1 ReplicationFa...
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式
Ganymede的Hadoop世界
12-15 8962
Spark-Streaming获取kafka数据的两种方式-Receiver与Direct的方式，可以从代码中简单理解成Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据了。
大数据系列之SparkStreaming应用解析（四)
qq_30003943的博客
08-15 872
文章目录第1章 Spark Streaming概述1.1 什么是Spark Streaming1.2 Spark Streaming特点第2章 运行Spark Streaming2.1 编写第一个程序第3章 架构与抽象第4章 Spark Streaming解析4.1 初始化StreamingContext4.2 什么是DStreams4.3 DStreams输入4.3.1 基本数据源文件数据源自定义数据源RDD队列4.3.2 高级数据源Apache Kafka4.4 DStreams转换4.4.1 无状态
Spark_SparkStreaming Kafka Direct/Receiver 两种连接方式的区别
迎难而上
03-27 1853
参考文章： DirectStream、Stream的区别-SparkStreaming源码分析02 https://blog.csdn.net/wisgood/article/details/51815853 spark-kafka direct方式读取和receiver方式读取的区别 https://blog.csdn.net/wzqllwy/article/details/...
Spark Streaming自定义Receiver
u013939918的博客
07-25 363
一 背景 Spark社区为Spark Streaming提供了很多数据源接口，但是有些比较偏的数据源没有覆盖，由于公司技术栈选择，用了阿里云的MQ服务ONS，要做实时需求，要自己编写Receiver 二 技术实现 1.官网的例子已经比较详细，但是进入实践还需要慢慢调试，官方文档。 2.实现代码，由三部分组成，receiver，inputstream，util 3.receiver代码 import java.io.Serializable import java.util.Properti
Sparkstreaming基于kafka以Receiver方式获取数据原理和案例实战
朱智文的专栏
12-05 884
本文讲述的内容主要包括： 1，SparkStreaming on Kafka Receiver 工作原理机制 2，SparkStreaming on Kafka Receiver案例实战 3，SparkStreaming on Kafka Receiver源码解析 一：SparkStreaming on Kafka Receiver 简介： 1、Spark-Strea
SparkStreaming
asd623444055的博客
05-07 320
一、Spark Streaming概述 1.离线和实时概念 数据处理的延迟 离线计算 就是在计算开始前已知所有输入数据，输入数据不会产生变化，一般计算量级较大，计算时间也较长。例如今天早上一点，把昨天累积的日志，计算出所需结果。最经典的就是Hadoop的MapReduce方式； 实时计算 输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。与离线计算相比，运行时间短，计算量级相对较小。强调计算过程的时间要短，即所查当下给出结果。 2.批量和流式概念
sparkstreaming 从mysql读取数据_超详细！一文详解 SparkStreaming 如何整合 Kafka！附代码可实践...
weixin_39943000的博客
01-08 812
来源 | Alice菌责编 | Carol封图 | CSDN 下载于视觉中国出品 | CSDN(ID:CSDNnews)相信很多小伙伴已经接触过 SparkStreaming 了，理论就不讲太多了，今天的内容主要是为大家带来的是 SparkStreaming 整合 Kafka 的教程。文中含代码，感兴趣的朋友可以复制动手试试！Kafka回顾正式开始之前，先让我们来对Kafka回顾一波。核心概念图解...
Spark Streaming任务中的容错机制盘点
crazybean_lwb的博客
11-04 616
spark之checkpoint
Spark Streaming 的 Receiver和 Direct模式
u011500419的专栏
04-15 750
1 两种模式的原理和区别 Receiver模式 1. Receiver模式下的运行架构 1)InputDStream: 从流数据源接收的输入数据。 2)Receiver：负责接收数据流，并将数据写到本地。 3)Streaming Context：代表SparkStreaming，负责Streaming层面的任务调度，生成jobs发送到Spark engine处理。 4)Spark ...
Spark Streaming之Kafka的Receiver和Direct方式
happy19870612's blog
11-11 1281
一 Receiver方式 Receiver是使用Kafka的high level的consumer API来实现的。Receiver从Kafka中获取数据都是存储在Spark Executor内存中的，然后Spark Streaming启动的job会去处理那些数据   然而这种方式很可能会丢失数据，如果要启用高可靠机制，让数据零丢失，就必须启动Spark Streaming预写日志机制。该机
SparkStreaming消费kafka（Receiver与Direct）
zx421311541的博客
12-26 503
Receiver receiver是使用kafka的高级consumer API来实现的，Receiver每个一段batch时间去kafka获取这段时间里最新的相应topic数据，从kafka哪里获取来的数据都存在Spark Excutor的内存中，然后Spark Streaming启动job去处理这些数据。 其中，谁来消费分区不是由SparkStreaming来决定的，而是由高阶消费者决定的，它...
【Spark篇】---SparkStreaming+Kafka的两种模式receiver模式和Direct模式
L先生AI课堂
03-06 1902

 一、前述 SparkStreamin是流式问题的解决的代表，一般结合kafka使用，所以本文着重讲解sparkStreaming+kafka两种模式。   二、具体 1、Receiver模式    原理图：    receiver模式理解： 在SparkStreaming程序运行起来后，Executor中会有receiver tasks接收kafka推送过来的数...
sparkstreaming 读取mysql_基于Spark Streaming 进行 MySQL Binlog 日志准实时传输
weixin_39805355的博客
12-18 720
基本架构RDS -> SLS -> Spark Streaming -> Spark HDFS上述链路主要包含3个过程：如何把 RDS 的 binlog 收集到 SLS。如何通过 Spark Streaming 将 SLS 中的日志读取出来，进行分析。如何把链路 2 中读取和处理过的日志，保存到 Spark HDFS中。环境准备安装一个 MySQL 类型的数据库(使用 ...
Spark对Kafka两种连接方式的对比——Receiver和Direct
乔治大哥的博客
11-21 1220
在知乎 Flink 取代 Spark Streaming 的实战之路中，提到 因此下面对两种方式进行详细说明一下。 Receiver方式 Receiver：接收器模式是使用Kafka高级Consumer API实现的。与所有接收器一样，从Kafka通过Receiver接收的数据存储在Spark Executor的内存中，然后由Spark Streaming启动的job来处理数据。然而默认配置...
SparkStreaming+kafka的receiver模式与direct模式
wyqwilliam的博客
11-24 1290
1、SparkStreaming+kafka的receiver模式 2、SparkStreaming+kafka的direct模式 两者的区别是： 基于receiver模式是借助外界的东西：比如kafka，等来维护消费者偏移量的。并且是node1接收到数据之后，首先发送给node2和node3，之后再在zookeeper中做备份，然后在发送到driver端去执行，driver去监控tas...
Spark Streaming容错机制解析：DStream的处理保证
控制层面，Spark Streaming使用Driver程序来调度作业，并通过Receiver来接收和存储数据流。Receiver是在Executor进程中运行的，负责接收来自网络的数据并将它们转化为RDD。如果Receiver失败，Spark的容错机制会检测...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值