KafkaUtils.createDirectStream的个人理解

最新推荐文章于 2024-08-02 02:43:38 发布
最新推荐文章于 2024-08-02 02:43:38 发布
阅读量1w 收藏 9
点赞数 5
文章标签： kafka spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41083134/article/details/99561175
版权

近几日自己摸索的去看了一下kafka的一些特征，自己总结出来，加深一下印象
这是代码中创建一个对接kafkardd的方法
这个是sparkstreaming对接kafka，用direct方式消费数据的方法，点开这个方法看一下里面的描述
Create an input stream that directly pulls messages from Kafka Brokerswithout using any receiver. This stream can guarantee that each messagefrom Kafka is included in transformations exactly once (see points below)
这是源码里对方法的描述，它说会这个方法会创建一个直接从Kafka代理获取消息的输入流，不使用任何接受器。
下面还有一段对这句话的解释，说这个流会直接查询kafka的偏移量，不使用zk去保存偏移量，消耗跟踪偏移量依靠流自身。还强调了要从程序恢复故障，就要通过StreamingContext启动checkpointing，消耗的偏移量信息可以从checkpoint处恢复。


对于这段话，我有点不理解，忘大佬告知

最低0.47元/天 解锁文章
钟一鑫
关注
KafkaUtils.createDirectStream()参数详解
theminer的博客
01-11 2692
转载自KafkaUtils.createDirectStream()参数详解 - 海贼王一样的男人 - 博客园 通过KafkaUtils.createDirectStream该方法创建kafka的DStream数据源，传入有三个参数：ssc，LocationStrategies，ConsumerStrategies。 LocationStrategies有三种策略：PreferBrokers，PreferConsistent，PreferFixed详情查看上边源码解析 1 2 .
kafkautils.createstream java_输入DStream之Kafka数据源实战（基于Direct的方式）
weixin_39905037的博客
02-27 578
基于Direct的方式这种新的不基于Receiver的直接方式，是在Spark 1.3中引入的，从而能够确保更加健壮的机制。替代掉使用Receiver来接收数据后，这种方式会周期性地查询Kafka，来获得每个topic+partition的最新的offset，从而定义每个batch的offset的范围。当处理数据的job启动时，就会使用Kafka的简单consumer api来获取Kafka指定o...
KafkaUtils.createDirectStream
卡奥斯道的博客
09-27 1万+
转：http://blog.selfup.cn/1665.html 官网上对这个新接口的介绍很多，大致就是不与zookeeper交互，直接去kafka中读取数据，自己维护offset，于是速度比KafkaUtils.createStream要快上很多。但有利就有弊：无法进行offset的监控。 项目中需要尝试使用这个接口，同时还要进行offset的监控，于是只能按照官网所说的，自己将o
KafkaUtils工具类（java）
最新发布
weixin_41385760的博客
08-02 42
KafkaUtils工具类（java）kafka基础工具类登录后复制 package utils; import org.apache.commons.lang3.exception.ExceptionUtils; import org.apache.kafka.clients.admin.*; import org....
kafkautils.createstream java_KafkaUtils.createDirectStream参数报错
weixin_39997300的博客
02-27 2681
import kafka.api.OffsetRequestimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.Secondsimport org...
spark-streaming kafka api（KafkaUtils.createDirectStream）使用
zilong230905的专栏
05-14 1万+
本程序参照spark-streaming kafka官方示例 注意：官方提供的spark-streaming-kafka调用借口，java和scala使用是不同的 1.本次的程序为（以local[2]方式启动） 本次主要学习spark-streaming-kafka接口 KafkaUtils.createDirectStream
kafkautils.createstream java_spark-streaming-kafka通过KafkaUtils.createDirectStream的方式处理数据...
weixin_29903713的博客
02-27 543
packagehgs.spark.streamingimportorg.apache.spark.SparkConfimportorg.apache.spark.SparkContextimportorg.apache.spark.streaming.StreamingContextimportorg.apache.spark.streaming.Secondsimportorg.ap...
spark-streaming-kafka通过KafkaUtils.createDirectStream的方式处理数据
congtuo7221的博客
10-21 1363
packagehgs.spark.streaming importorg.apache.spark.SparkConf importorg.apache.spark.SparkContext importorg...
kafkautils.createdirectstream
03-16
kafkautils.createdirectstream是一个函数，用于在Apache Kafka中创建一个直接流。它可以通过Spark Streaming API来使用，用于从Kafka主题中读取数据并将其转换为DStream对象。这个函数需要指定Kafka主题、Kafka集群...
SparkStreaming整合kafka实践
weixin_44155237的博客
04-18 433
kafka作为一个实时的分布式消息队列，实时的生产和消费消息，这里我们可以 1.KafkaUils.createDstream方式：利用SparkStreaming实时计算框架实时的读取kafka中的数据然后进行计算。在spark1.3版本后，kafkaUtils里面提供了两个创建dstream的方法，一种为KafkaUtils.createDstream,另一种为KafkaU...
kafka系列-DirectStream
李孟的博客
06-09 2526
  spark读取kafka数据流提供了两种方式createDstream和createDirectStream。 两者区别如下： 1、KafkaUtils.createDstream 构造函数为KafkaUtils.createDstream(ssc, [zk], [consumer group id], [per-topic,partitions] )  使用了receivers来接收数据，...
kafka 的 createDirectStream
weixin_33694620的博客
10-25 504
一入大数据深似海，脑袋不够用了，先留下只言片语。 kafka api中给出2类直接获取流的接口：createStream和createDirectStream。 createStream比较简单，只需topic、groupid、zookeeper就可以直接获取流，brokers和offset都是黑盒无需进行控制，但在项目中往往不受控。以下是部分源码： /** * Create...
DStream实战之Spark Streaming整合Kafka, 通过 KafkaUtils.createDstream方式整合Kafka 37
啊策策大数据社区
11-03 962
前言 kafka作为一个实时的分布式消息队列，实时的生产和消费消息，这里我们可以利用SparkStreaming实时地读取kafka中的数据，然后进行相关计算。 在Spark1.3版本后，KafkaUtils里面提供了两个创建dstream的方法，一种为KafkaUtils.createDstream，另一种为KafkaUtils.createDirectStream。 1. KafkaUti...
这几天折腾spark的kafka的低阶API createDirectStream的一些总结。
热门推荐
xiao_jun_0820的专栏
07-16 4万+
大家都知道在spark1.3版本后，kafkautil里面提供了两个创建dstream的方法，一个是老版本中有的createStream方法，还有一个是后面新加的createDirectStream方法。关于这两个方法的优缺点，官方已经说的很详细(http://spark.apache.org/docs/latest/streaming-kafka-integration.html)，总之就是cr
SparkStreamingOnKafkaDirected（没明白 KafkaUtils.createDirectStream）【Java版纯代码】
wyqwilliam的博客
07-31 2502
package streamingOperate.others; import java.util.Arrays; import java.util.HashMap; import java.util.HashSet; import java.util.Map; import kafka.serializer.StringDecoder; import org.apache.spark.S...
kafka-0.8.x和kafka-0.10.0.0版本KafkaUtils.createDirectStream方法的比较
reedom1991的博客
04-12 3019
先是0.8.x版本KafkaUtils.createDirectStream是如何创建！！ 导包(MVN或者sbt)： groupId = org.apache.spark artifactId = spark-streaming-kafka-0-8_2.11 version = 2.2.1 测试代码如下： object Kafka_Spark { def main(args: ...
KafkaUtils.createDirectStream报错Cannot resolve symbol createDirectStream
weixin_30500105的博客
06-30 1042
一开以为是自己导包导错了，但是对比了一下之前的程序发现并没有错， import org.apache.spark.streaming.kafka.{HasOffsetRanges, KafkaUtils, OffsetRange} 后来又怀疑是不是自己搞错版本了，检查了好几次，在另外一台电脑上也是同样的pom啊 <dependency> <grou...
KafkaUtils.createDirectStream消费不到数据
李玉志的博客
01-07 1137
def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("BatchLoadThroughKafka") //val conf: SparkConf = new SparkConf().setAppName("BatchLoadThroughKafka") ...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值