Spark Streaming消费Kafka消息的两种方式

最新推荐文章于 2024-11-19 20:46:35 发布
最新推荐文章于 2024-11-19 20:46:35 发布
阅读量1.8k 收藏 9
点赞数 1
分类专栏： 大数据 Spark Kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39400271/article/details/102477959
版权
本文详细介绍了Spark Streaming从Kafka消费数据的Receiver和Direct两种方式。Receiver方式使用高阶API，数据存储在内存或磁盘，存在重复消费风险。Direct方式采用低阶API，无内存缓存，避免数据堆积，提供exactly once语义，性能更优。Receiver适合Kafka partition数量大的场景，而Direct适合对实时性要求高的应用。
摘要由CSDN通过智能技术生成

一、Receiver方式

        Receiver方式，消息的offset存储在zookeeper。由Receiver维护，Receiver所扮演的角色是数据接收器。数据从Kafka传到Receiver中，Receiver将数据存储在内存或者磁盘，然后记录在容错日志文件系统中，同时将消息的offset更新到zookeeper中，元数据信息传给Driver。其使用的是Kafka高阶API，容错机制使用了SparkCore的容错机制。

二、Direct方式

        Direct方式，又称为No Receiver。顾名思义，没有Receiver，它不会将数据拉取到executor中，而是直接从Kafka每个分区读取数据，调用的是Kafka低阶API。Spark Streaming程序中，都会创建InputDStream，Direct方式使用：

val msg = KafkaUtils.createDirectStream(ssc, kafkaParams, topicsSet)

在这个方法里面，创建了两个对象：KafkaCluster和DirectKafkaIn

最低0.47元/天 解锁文章
SparkStreaming消费Kafka的方式
JustinMars的博客
07-30 888
spark
Spark Streaming读取Kafka数据的两种方式
theminer的博客
01-10 2323
Kafka在0.8和0.10之间引入了一种新的消费者API,因此,Spark Streaming与Kafka集成,有两种包可以选择:spark-streaming-kafka-0-8与spark-streaming-kafka-0-10。在使用时应注意以下几点: spark-streaming-kafka-0-8兼容Kafka 0.8.2.1及以后的版本, 从Spark 2.3.0开始，对Kafka 0.8支持已被标记为过时。 spark-streaming-kafka-0-10兼容Kaf.
spark消费kafka消息
小黄鸭的博客
09-03 1361
教程： http://spark.apache.org/docs/2.2.0/streaming-kafka-0-10-integration.html pom： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.11</...
sparkstreaming整合kafka的两种方式
u014468095的博客
08-26 348
sparkstreaming整合kafka的两种方式 sparkstreaming整合旧版本的kafka有两种方式，一般称为Receiver方式和Direct方式。 Receiver方式 Receiver-based方式是基于kafka high level api来实现的。在executor节点会单独启动一个receiver线程，去持续消费kafka数据，消费到的数据放在executor内存中，当执行batch计算时，executor会去计算这些数据。这种方式有很多缺点： 由于宕机或者程序失败等其他因
重点：HDFS的文件读写流程+简讲HDFS分布式文件系统
最新发布
naozibuok的博客
11-19 1374
在单台计算机上存储文件，存在容量限制、性能低和可靠性低的问题。
SparkStreaming消费kafka
onway_goahead的博客
05-22 276
https://www.jianshu.com/p/667e0f58b7b9
SparkStreaming和Kafka的整合方式
maixia24的专栏
02-08 1156
Spark streaming消费Kafka的正确姿势
likaiasddsa的博客
06-13 435
Spark streaming消费Kafka的正确姿势 原文网址： https://www.cnblogs.com/importbigdata/p/10765558.html
SparkStreaming连接kafka的两种方式
xiaozhaoshigedasb的博客
12-25 906
     Spark对于Kafka的连接主要有两种方式，一种是DirectKafkaInputDStream，另外一种是KafkaInputDStream。   【Receiver-based】     这种方法使用一个 Receiver 来接收数据。在该 Receiver 的实现中使用了...
SparkStreaming读取kafka数据的两种方式
贾宝的博客
11-18 8671
Receive Receive是使用的高级API，需要消费者连接Zookeeper来读取数据。是由Zookeeper来维护偏移量，不用我们来手动维护，这样的话就比较简单一些，减少了代码量。但是天下没有免费的午餐，它也有很多缺点： 1.导致丢失数据。它是由Executor内的Receive来拉取数据并存放在内存中，再由Driver端提交的job来处理数据。这样的话，如果底层节点出现错误，就会发生数...
spark streaming 消费kafka两种方式的对比
qq_34897849的博客
10-23 584
1、读取数据的并发度 Receiver的方式：采用的是单核的模式，即使你设置了多个线程数，你的上下文环境中设置的并行度很大，也不会产生影响，还是1。只有通过配置多个receiver才会并行的读取kafka中的数据 Direct的方式：读取数据的并行度和topic的分区数相同，而且生成的DStream的并行度也和topic的分区数相同，一一对应。 2、生成的DSream的并行度 Receiv...
Kafka集成Spark Streaming并写入数据到HBase
01-17
使用方法： 请使用eclipse的maven导入方式导入，代码在http://blog.csdn.net/q79969786/article/details/42793487有介绍
spark-streaming-kafka-assembly_2.10-1.6.3.jar
01-24
运行saprk-streaming所需的jar包,spark-streaming-kafka-assembly_2.10-1.6.3.jar
kafka-spark-streaming-druid:将卡夫卡流带入火花，应用变换并沉入德鲁伊。 一切都Dockerized
05-26
卡夫卡火花流德鲁伊 将卡夫卡流带入火花，应用变换并沉入德鲁伊。 一切都Dockerized。 这是一个快速入门项目，可以帮助新手开始建立满足其大数据需求的基础架构。 该设置包括kafka，spark和druid，该过程使用Docker自动执行。 如何开始 克隆仓库 编辑 。 将kafka容器的env ADVERTISED_HOST=10.24.48.147为您的Docker主机的ip。 更改spark的卷/home/rvenkataraman/lambda-docker-poc/spark-job:/usr/local/jobs指向您在Docker主机中选择的任何目录 Kafka容器需要设置ADVERTISED_HOST才能使kafka生产者从容器外部运行 火花容器的容积完全是可选的。 这旨在将火花罐复制到docker主机中，并自动将其与spark容器共享。 您也可以手动scp文件，如
Spark Streaming消费kafka数据
Johnson8702的博客
01-22 1459
Spark Streaming消费kafka数据有两种方式，一种是基于接收器消费kafka数据，使用Kafka的高级API；另一种是直接消费方式，使用Kafka的低级API。 下面，详细说明、对比下这两种方式的优缺点。 一、Receiver-based Approach 这种方式，采用Kafka的高级API，使用接收器接收kafka的消息。接收器在接收到kafka数据后，把数据保存在Spark executor中，然后Spark Streaming任务再从中获取数据。 采用这种方式，默认配置情况下，
SpringStreaming+Kafka
augus_one的博客
09-06 1401
Spark踩坑记--Spark Streaming + Kafka SpringStreaming +卡夫卡 1.SpringStreaming + Kafka接受数据和发送数据 （1）SparkStreaming接受kafka方式 基于接收的方式 基于DirectKafkaStreaming DirectKafkaStream...
java spark 消费kafka_Spark Streaming中的Kafka消费者
weixin_34246826的博客
02-24 144
尝试编写消耗来自Kafka的消息的Spark Streaming作业 . 这是我到目前为止的情况：1)启动Zookeeper .2)启动Kafka Server .3)向服务器发送了一些消息 . 当我运行以下内容时，我可以看到它们：bin / kafka-console-consumer.sh --zookeeper localhost：2181 - topic mytopic --from-...
Kafka- Spark消费Kafka
weixin_33694172的博客
03-23 92
在高版本的API中 val brokers = properties.getProperty("kafka.host.list") val topics = Set(properties.getProperty("kafka.application.topic")) val kafkaParams = Map[String, String]( "bootstrap...
Kafka集成SparkStreaming
weixin_42073629的博客
10-03 713
Spark Streaming + Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包，请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。 注意：从Spark 2.3.0开始，不推荐使用Kafka 0.8支持。 Spark Streaming从Kafka接收数据，转换为spark streaming中的数据结构Dstream。数据接收方式有两种 ：1 使用.
sparkstreaming与kafka，sparkstreaming接收kafka数据的两种方式
03-16
Spark Streaming 可以通过两种方式接收 Kafka 数据： 1. 直接使用 KafkaUtils.createDirectStream 方法创建直接流，该方法可以直接从 Kafka 的分区中读取数据，并将其转换为 DStream。这种方式需要手动管理偏移量，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值