flink连接kafka函数getAllPartitionsForTopics报错NullPointerException

最新推荐文章于 2023-07-20 15:24:27 发布
最新推荐文章于 2023-07-20 15:24:27 发布
阅读量891 收藏
点赞数
分类专栏： java 文章标签： kafka flink java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sndayYU/article/details/116272172
版权

具体报错如下

java.lang.NullPointerException
	at org.apache.flink.streaming.connectors.kafka.internal.KafkaPartitionDiscoverer.getAllPartitionsForTopics(KafkaPartitionDiscoverer.java:77)
	at org.apache.flink.streaming.connectors.kafka.internals.AbstractPartitionDiscoverer.discoverPartitions(AbstractPartitionDiscoverer.java:131)
	....

最后发现是kafka中对应topic并没有建立，建立kafka的consumer source时发生报错，导致 job 从RUNNING切换到了FAILED.

Wesson96
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Flink】Flink消费kafka 突然报错 Kafka09PartitionDiscoverer.getAllPartitionsForTopics
九师兄
06-29 1382
1.背景 一个好好的程序，改写了一下，参数未变，但是运行起来报错 2020-06-0216:23:30 F4 [Thread: flink-akka.actor.default-dispatcher-2][ class:org.apache.flink.runtime.executiongraph.ExecutionGraph] INFO:Could not restart the job execute w11 (613e76ab1287b88b217cebf4daed8dcb) because the.
【kafka】flink kafka NullPointerException Timeout position partition could be determined
九师兄
03-19 1392
1.概述 某环境，flink读取kafka 突然运行的时候不断重启，查看日志，发现日志报错如下，看起来像是kafka topic的一个分区有问题，然后空指针异常导致服务挂掉。 2021-03-19 11:11:34,537 INFO org.apache.flink.runtime.executiongraph.ExecutionGraph - Source: kafkaSource -> map progress -> 某节点 -> 某节点 -> (Sink: xx
KafkaConsumer(kafka-clients0.8.2.1)的poll方法返回null的问题
呦 ^v^-， 写Bug呢？
02-27 3254
简单来说是个恶心的坑，调了两个多小时，毫无改观，一直以为是配置或者是代码的问题。 可是在一直没调通后点进了源码，发现这个方法什么都没做并且返回了null。 解决办法就是换高版本的包，就好了。（当有一些莫名奇妙的问题解决不了的时候，看下依赖和源码有可能会有惊喜）
Gobblin Kafka Source源码分析
a153095800的博客
04-18 1516
Kafka Source主要任务是根据配置文件指定的Topic，读取相应的信息，划分Work Unit。 一、getWorkunits()   该函数是重写的抽象类Source中的getWorkunits()，划分Work Unit过程由此开始。 函数实例化KafkaWrapper用于访问Kafka，获取相关信息。KafkaWrapper是G
flink连接kafka
01-20
标题 "flink连接kafka" 涉及到的技术领域是大数据处理，主要讨论如何将Apache Flink与Apache Kafka进行集成，实现数据流处理。Apache Flink是一个流行的开源流处理框架，而Apache Kafka是一个分布式消息系统，常用于...
Flink消费Kafka数据1
08-03
Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。 一、实验环境配置 在本实验中，我们将使用...
flink消费kafka到greenplum
05-06
1. **配置Flink连接Kafka**：在Flink程序中，我们需要创建一个KafkaSource，指定Kafka的bootstrap servers、topic和消费者组ID，以便从Kafka读取数据。 2. **定义数据转换**：Flink的DataStream API提供了丰富的...
Flink+Kafka的JavaAPI应用
05-30
此案例使用的是IDEA开发工具，项目...使用JavaAPI操作Flink的流处理，Flink从Kafka中获取数据，执行处理后再执行输出。 根据（《Flink入门与实战》徐葳著）教材最后的综合案例改变，适合没有学习不会使用Flume的人使用
flink读取kafka数据.zip
最新发布
01-04
本项目涉及的关键技术包括Flink与Kafka的集成、数据计算后的存储以及流式数据导入MySQL。以下是这些技术的详细说明： 1. **Flink 读取 Kafka 数据**： Apache Kafka 是一个分布式流处理平台，用于构建实时数据管道...
kafka 权威指南--读书笔记-（4）从kafka读取数据
skycanf的博客
08-15 888
应用程序使用 KafkaConsumer向 Kafka 订阅主题，并从订阅的主题上接收消息 。 从 Kafka 读取数据不同于从其他悄息系统读取数据，它涉及一些独特的概念和想法。如果不先理解 这些概念，就难以理解如何使用消费者 API。所以我们接下来先解释这些重要的概念，然 后再举几个例子，横示如何使用消费者 API 实现不同的应用程序。 消费者和消费者群组 假设我们有一个应用程序需要从-个 ...
Apache Doris Routine Load快速体验之案例（2）
ith321的博客
07-20 1416
Apache Doris Routine Load快速体验之案例（2）
kafka消费者java.lang.NullPointerException
阿生
10-25 9178
最近写kafka程序突然发现消费者会产程空指针异常，百思不得其解于是就百度寻找解决方案。参考了一下链接网上的结论但是感觉还是不怎么样于是自己一步一步寻找根源 发现源码中这么一句代码 public Map<String, ConsumerRecords<K, V>> poll(long timeout) { return null; } 他直接返回了null指针，于是空
Flink类型导致的异常：java.lang.NullPointerException
xiaozhaoshigedasb的博客
05-23 5087
代码提交到yarn上后，一直报这个错，但是数据好像没丢，或者丢的少， 没看出来。。 一开始分析的是业务逻辑中匹配的时候，会有一些类型的问题，但是全部排查了一遍，貌似没有，更何况下边这个异常里面并没有指出代码中的哪一行类型异常。。所以就怀疑是不是kafka中的数据进来的时候就有空字段。。 今天无意中翻了一眼官网，他说： Scala Case Class（包括Scala元组）：最多22个字段，不支持空...
FlinkConsumer 分区和subtask对应关系以及FlinkKafkaConsumerBase解析
weixin_43885038的博客
09-28 1794
FlinkConsumer 分区和subtask对应关系以及FlinkKafkaConsumerBase解析FlinkKafkaConsumerBase类Flink如何生成消费Kakfa分区的任务 FlinkKafkaConsumerBase类 FlinkKafkaConsumerBase 是一个核心类，其中的，FlinkKafkaConsumer08，FlinkKafkaConsumer09，FlinkKafkaConsumer10等都继承了这个类，首先我们看下这个类的构造方法： 看一下discovery
flink之kafka数据源之topic的分区和topic发现
weixin_51473488的博客
03-01 2261
flink之kafka数据源之topic的分区和topic发现设置 情景一:kafka因为后台数据增多,重新新增加分区,这时候需要在kafka中设置flink.partitions-discovery.interval-millis(设置时间为多少毫秒后天自动启动一个线程校验是否有新增分区) 情景二: 由于业务增多,需要新增一个topic,这时候需要设置kafka 匹配topic的名称的时候采用正则表达式 ...
flink消费kafka时topic partitions 和并行度间的分配源码详解
bradyM的博客
12-23 3465
引言 当我们消费kafka的一个topic时，我们知道kafka partition 是和我们设置的并行度是一一对应的； 也就是说，假如我们的topic有12个分区，那我们就设置12个并行度，这样每个并行度都能接收到数据且数据均匀； 那如果我们设置了15个并行度，那么就会有3个并行度是收不到数据的；这可以在web ui上，点开source operate 查看SubTasks的Bytes Sent，就可以发现，有三个SubTasks的Bytes Sent始终为0。 当我们消费kafka多个topic的时候，
kafka:Failed to add leader for partitions（暴力解决）
海若_matrix的博客
05-19 2591
问题描述： 报错信息：Failed to add leader for partitions 原因：kafka无法选举leader 解决方案： 1.修改IO并发数，删除所有topic 所在的文件夹 2.删除zookeeper中节点 3.重启zookeeper和kafka即可
Maven多模块打包遇到的问题详解
九师兄
07-08 1295
项目组织如下 |-assembly |-cheetah-bootstrap |-cheetah-streaming |-cheetah-streaming-common |-flink |-spark-structured-streaming |-pom.xml 开始是 cheetah-bootstrap 中引入了 cheetah-streaming-common 然后不能打包...
Kafka源码研究--Comsumer获取partition下标
boydfd的专栏
10-27 470
背景 由于项目上Flink在设置parallel多于1的情况下，job没法正确地获取watermark，所以周末来研究一下一部分，大概已经锁定了原因： 虽然我们的topic只设置了1的partition，但是Kafka的Comsumer还是起了好几个subtask去读索引是2、3的partition，然后这几个subtask的watermark一直不更新，导致我们job整体的watermark一直...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值