SparkStreaming消费不到Kafka的数据

最新推荐文章于 2022-08-18 17:20:05 发布
最新推荐文章于 2022-08-18 17:20:05 发布
阅读量1.4k 收藏
点赞数
分类专栏： Spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/rone321/article/details/103719164
版权

我这边遇到的问题是由于手动维护了offset，指定了分组
在这里插入图片描述
我新增了一个Topic，新创建了一个Consumer。但是保存Redis里面的分组还是原来的test
所以消费不到啊！！！！！

Rone-X
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
SparkStreamingKafka:Spark Streaming日志到kafka
05-17
介绍使Spark Streaming Logs自动发送到Kafka。
SparkStream
docsz的博客
04-08 423
SparkStreaming的核心思路： 把无边界的数据流抽象成DStream，在时间方向上，按照某个指定的时间间隔，把DStream切割成一个离散的RDD的序列，然后每一个都交给spark执行引擎进行处理。 SparkStreaming的编程套路： 1、获取编程入口：StreamingContext 2、通过StreamingContext构建第一个DStream 3、对于DStream进行各种...
Spark消费Kafka的两种方式
06-11 5978
在这里插入代码片
sparkStreaming
m0_37778709的博客
12-13 81
目录（sparkStream）本质(是什么)（我在试着讲明白）作用(干什么)（我在试着讲明白）架构(有什么)（我在试着讲明白）优缺点（我在试着讲明白）优点缺点流程(怎么运作)（我在试着讲明白）常用(必会)（我在试着讲明白）常见问题(必知)（我在试着讲明白）异议 本质(是什么)（我在试着讲明白） 作用(干什么)（我在试着讲明白） 架构(有什么)（我在试着讲明白） 优缺点（我在试着讲明白） 优点 缺点...
Spark Streaming消费Kafka数据的两种方案
微信搜：import_bigdata，大数据领域硬核原创作者
05-13 6394
下午的时候翻微信看到大家在讨论Spark消费Kafka的方式，官网中就有答案，只不过是英文的，当然很多博客也都做了介绍，正好我的收藏夹中有一篇文章供大家参考。文章写的通俗...
spark读取不到kafka中的数据，本人踩坑记录
qq_29499107的博客
04-12 4034
首先确定： 自己的idea开发环境和spark集群的开发环境一致，jdk, scala 版本都一直，而且在idea中测试可以消费到kafka集群中的数据： 集群 spark为1.6.1，本地idea也是spark1.6依赖。并且将sparkstream2kafka程序发布到spark集群也是正常运行，但是获取不到kafka中的数据。后来经过自己大量的测试终于找到了答案（百度了好久没有）： 代码：...
记一次sparkStreaming无法推送（接收）kafka推送数据问题
weidianlun的博客
05-14 598
spark整合kafka无法推送信息的解决方案。 主要原因：环境版本问题
【spark】记录一次 spark sparkstreaming 使用命令行提交任务在Yarn集群模式无法正常消费kerberos kafka数据的问题
Mrerlou的博客
08-18 4192
最近在提交spark程序到yarn消费kerberos认证方式的kafka数据。由于配置文件 相对/绝对路径不正确配置遇到了报错，这里整理并记录一下。以上的问题，说白了就是在任务真正的执行节点，并没有成功从绝对路径中加载到对应的配置文件。因为别的节点并没有这些配置文件。所以需要用--flies将我们需要用到的配置都加载到yarn服务上，然后yarn来将这些配置问价分发到真正执行任务的目录上。所以我们用的一些参数中指定的配置也须写成相对路径。和。.........
SparkStreaming消费Kafka无法消费持续阻塞（无异常信息）
wunanliu的采坑日记
04-28 2604
产生背景：由于工作需要，目前现有查询业务，其他厂商数据库无法支持，高效率的查询响应速度，于是和数据总线对接，实现接入数据，自己进行数据结构化处理。 技术选型：SparkStreaming和Kafka和ElasticSearch 本人集群：SparkStreaming 版本2.3，Kafka的Scala版本2.11-Kafka版本0.10.0.0 （Kafka_2.11-0.10.0.0.jar） 消息总线集群：Kafka总线版本，Kafka_2.10-0.10.2.1.jar 由上述可...
SparkStreaming消费Kafka的方式
JustinMars的博客
07-30 815
spark
sparkStreaming结合kafka取存数据
01-07
目录 一、说明 1、环境介绍 ...3、主程序Kafka2SparkStreaming2Kafka 四、启动程序测试 1、创建相关kafka主题 2、kafka生产数据到程序 3、从写入到的kafka主题中读取数据 一、说明 1、环境介绍 spark:
Spark Streaming 流式处理整合Kafka.rar
最新发布
10-18
在示例代码中 `kafkaParams` 封装了 Kafka 消费者的属性，这些属性和 Spark Streaming 无关，是 Kafka 原生 API 中就有定义的。其中服务器地址、键序列化器和值序列化器是必选的，其他配置是可选的。 Spark ...
sparkStreaming消费数据不丢失
12-25
sparkStreaming消费数据不丢失，sparkStreaming消费数据不丢失
Spark踩坑记——SparkStreaming+Kafka
02-25
在WeTest舆情项目中，需要对每天千万级的游戏评论信息进行词频统计，在生产者一端，我们将数据按照每天的拉取时间存入了Kafka当中，而在消费者一端，我们利用了sparkstreaming从kafka中不断拉取数据进行词频统计。...
databricks使用教程
热门推荐
Why Do You Run
05-21 2万+
Databricks databricks是使用Apache Spark™的原始创建者提供的Databricks统一分析平台 它集成了Spark环境支持Scala、python、R语言进行开发。 databricks分商业版本和社区版本，学生以及个人可以使用社区版本。社区版本只需要注册一下账号，则就会拥有一台配置为6G内存的Spark集群环境。 Spark初学者则不再为配置开发环境而烦恼·~~~~...
Missing required configuration "key.serializer" which has no default value.
Why Do You Run
12-25 1万+
SparkStreaming写入Kafka报错Missing required configuration "key.serializer" which has no default value. 这是因为你在KafkaParams参数时没有指定key.serializer 将KafkaParams配置项设置为以下格式就ok了 /** * 设置Kafka参数 */ ...
org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl - Interrupted while waiting for qu
Why Do You Run
01-13 3331
今天用华为云MRS跑Spark On Yarn 报出一个没见过的错误 2020-01-13 10:49:44,667 [AMRM Callback Handler Thread] INFO org.apache.hadoop.yarn.client.api.async.impl.AMRMClientAsyncImpl - Interrupted while waiting for queue ...
assertion failed: Failed to get records for spark-executor3 24025 after after polling for 1000
Why Do You Run
04-01 3306
这个问题有必要记录一下！！！！ 报错信息如下 任务运行时，Task锯齿图 有人说加参数 "spark.streaming.kafka.consumer.poll.ms", 512 如果你尝试这个成功了那么恭喜你，可以关闭此博客了！ 我们项目遇到了这个问题，加了参数没得用，而且导致job失败，本来job虽然会慢一点，但是加了这个参数则会报上面截图的错误！ 左思右想不知道怎么回事儿！ 带宽问题？...
Livy设置Session生命周期
Why Do You Run
09-03 2602
为什么要更改Livy的Session生命周期？ 使用LivyREST接口提交SparkJob时，任务执行成功后，过段时间Session和Job or Bathes的ID则会被清空，导致Spark任务的执行结果可能会查询不到，所以需要更改一下Livy的生命周期。 首先如果是在CDH环境下，则只需要在Livy的WebUI界面更新一下配置文件。 添加livy.server.session.timeout...
spark streaming怎么实时消费kafka上的数据
05-10
Spark Streaming 可以通过 Kafka Direct API 或 Receiver API 来实时消费 Kafka 上的数据。 使用 Kafka Direct API 的方式，需要引入 spark-streaming-kafka 相关的依赖，然后创建 Kafka Direct Stream，并指定 Kafka 的参数和消费的 topic。 示例代码如下： ```scala import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, StreamingContext} val ssc = new StreamingContext(sparkConf, Seconds(5)) val kafkaParams = Map[String, String]("bootstrap.servers" -> "localhost:9092") val topics = Set("test") val stream = KafkaUtils.createDirectStream[String, String, StringDecoder, StringDecoder]( ssc, kafkaParams, topics) stream.map(record => (record._1, record._2)).print() ssc.start() ssc.awaitTermination() ``` 使用 Kafka Receiver API 的方式，需要引入 spark-streaming-kafka 相关的依赖，然后创建 Kafka Receiver Stream，并指定 Kafka 的参数和消费的 topic。 示例代码如下： ```scala import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Seconds, StreamingContext} val ssc = new StreamingContext(sparkConf, Seconds(5)) val kafkaParams = Map[String, String]("metadata.broker.list" -> "localhost:9092") val topics = Set("test") val stream = KafkaUtils.createStream[String, String, StringDecoder, StringDecoder]( ssc, kafkaParams, topics, StorageLevel.MEMORY_ONLY_SER) stream.map(record => (record._1, record._2)).print() ssc.start() ssc.awaitTermination() ``` 需要注意的是，使用 Receiver API 的方式可能会有数据丢失的问题，因此建议使用 Direct API。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值