Flink 1.14.0 消费kafka数据报warn日志

最新推荐文章于 2023-01-23 22:38:05 发布

佛山靓仔

最新推荐文章于 2023-01-23 22:38:05 发布

阅读量626

点赞数 1

分类专栏： java flink 文章标签： kafka flink 分布式

本文链接：https://blog.csdn.net/wawawawawawaa/article/details/128604092

版权

java 同时被 2 个专栏收录

32 篇文章 0 订阅

订阅专栏

flink

1 篇文章 0 订阅

订阅专栏

在Flink1.14.0版本中遇到消费Kafka数据源时关于records-lag的警告，提示pendingBytes可能报告不正确。此问题可通过升级到1.14.3版本来解决，相关问题已在FLINK-24409中记录，并在GitHub的PR#17401中进行了修复。感谢同事协助排查。

摘要由CSDN通过智能技术生成

Flink1.14.0 版本中，消费kafka时报以下错误：

org.apache.flink.connector.kafka.source.metrics.KafkaSourceReaderMetrics[] - 
Error when getting Kafka consumer metric "records-lag" for partition "xxxx-0". Metric "pendingBytes" may not be reported correctly

报的warn级别的日志；可以试下以下方法

将flink版本提高到1.14.3

参考下以下链接：

https://issues.apache.org/jira/browse/FLINK-24409

https://github.com/apache/flink/pull/17401/files

感谢我的同事帮忙排查

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

佛山靓仔

关注关注

1
点赞
踩
0

收藏

觉得还不错? 一键收藏
1
评论
Flink 1.14.0 消费kafka数据报warn日志

flink 消费kafka数据报warn日志
复制链接

扫一扫

专栏目录

【Flink】Flink 1.14.0 全新的 Kafka Connector

九师兄

06-19

4258

Flink 提供了一个 Apache Kafka 连接器，用于从 Kafka Topic 读取数据和向 Kafka Topic 写入数据，并保证恰好一次次语义。

Flink+Kafka：构建日志采集+流式处理分析日志

jdk819的博客

11-04

935

Flink和Kafka的配合难点在于版本的适配，本文提供已适配版本，并且提供docker镜像、docker启动脚本以及k8s多副本部署Flink和Kafka的部署脚本。一、版本选择 Flink：1.10.0-scala_2.12 Kafka：2.12-2.3.1 wurstmeister/zookeeper：3.4.6 版本资源、docker部署脚本以及k8s多副本方式部署脚本（包含k8s各个pod之间的动态通信脚本...

1 条评论您还未登录，请先登录后发表或查看评论

Flink Kafka 实时日志处理实例

chougongpiao9134的博客

06-10

927

实时计算引擎Flink demo 了解一个东西除了关注当前技术本身，更应该联系整个应用环境来看。本文介绍一个从数据采集到入queue，再用Flink消费queue的消息，进行处理后写入ES Hbase HDFS等存储系统（本文以MySQL基础容器为例，说明问题即可）。使用3台机器...

Flink实战-（5）Flink Kafka实时Error日志告警

Carson073的博客

06-22

858

Maven配置 application.properties配置 2.1 工具类 2.2 反序列化类 2.3 日志结构设计样例数据： 2.4 主类 2.5 模拟日志生成类 3 本地运行运行成功！

Flink从kafka中消费数据--解析

fct2001140269的博客

11-14

8339

一、情况介绍：基于scala语言的Flink从kafka中消费数据，然后使用protobuf解析，当然默认是使用string解析的，此处需要指定接收的数据格式 package cetc.kakfa2flink import java.io.IOException import java.util.Properties import com.hxy.protobuf.DSFusion impo...

Flink消费Kafka数据1

08-03

Flink消费Kafka数据 Flink 是一种大数据处理引擎，可以消费 Kafka 数据。本文将介绍如何使用 Flink 消费 Kafka 数据，并提供了实验环境的配置和资源购买的详细步骤。一、实验环境配置在本实验中，我们将使用...

Flink实时读取Kafka数据批量聚合（定时按数量）写入Mysql.rar

12-27

标题中的"Flink实时读取Kafka数据批量聚合（定时/按数量）写入Mysql"是一个典型的实时数据处理场景，涉及到大数据技术栈中的三个关键组件：Apache Flink、Apache Kafka和MySQL。以下是对这些技术及其在该场景下应用...

flink消费kafka到greenplum

05-06

本文将深入探讨如何使用Flink从Kafka消费数据并将其存储到Greenplum，同时也会介绍Flink的数据流（DataStream）和数据集（DataSet）API的使用，以及实时数据处理中的窗口应用。首先，Apache Flink是一个开源的流...

flink消费kafka数据存储到elasticsearch的演示deno

07-23

1、flink监听localhost的kafka，作为source，接收数据。 2、数据流转到elasticsearch 3、flink web ui提交jar文件，创建任务流程。 4、流程测试。

flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo

06-26

代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...

flink1.12.3+python3.7+pyflink实时消费kafka

weixin_45450027的博客

05-15

3796

一、环境介绍 centos7、anaconda的虚拟环境python3.7、官网原生flink1.12.3、官网原生kafka_2.12-2.7.0、官网原生apache-zookeeper-3.6.3-bin 二、思路梳理写一个数据生成器往kafka里面生产数据——>pyflink实时消费kafka的流数据三、启动zookeeper、kafka、flink集群（本地）等步骤省略四、数据生成器（这个测试的时候用的python2，问题不大） # --coding=utf8-- imp

【Spark内存计算】KafKa消息传输与消费模式

NEUmaohou的博客

03-15

314

【大白话讲解】KafKa 到底是什么？ KafKa 是非常流行的日志采集系统，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。听到这里，你可能还是一头雾水，我的理解用一句话直观的说明KafKa的作用，那就是： KafKa 是一个消息平台，主要用来处理大量数据状态下的消息队列，一般用来做日志的处理。 1、KafKa的特性：首先从KafKa的特性来看这样的一个消息平台的样子。先有个印象，这其中的内容大多数我们

kafka中consumer和partition的对应关系

zzhongcy的专栏

01-06

966

kafka

流批一体计算引擎-4-[Flink]基于Table API消费kafka实时数据

qq_20466211的博客

01-23

2893

flink消费kafka

Kafka - 主题Topic与消费者消息Offset日志记录机制

程序员路同学

12-04

2472

kafka topic分区存储消息以及消息信息存储的形式与日志记录

Flink利用KafkaSource读取Kafka数据做为数据源

一个数据小开发的博客

02-07

6552

虎年第一篇：在Flink的1.13版本以后，官方对FlinkKafkaConsumer类进行了过期设置，所以最好用KafkaSource来进行读取数据。 pom文件 <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-kafka_2.12</artifactId> <version>1.14.3</version>

kafka 消息日志原理 & 指定偏移量消费 & 指定时间戳消费

u013433591的博客

12-31

3525

Kafka 日志详解；指定偏移量消费；指定时间戳消费

MQ系列笔记—Kafka相关

阳光大男孩！！！的博客

07-24

294

Kafka阻塞事故 Kafka在公司项目中用于传递消息，但有一天他阻塞了。。。这事不怪Kafka，是人为原因为了保证事务，我们可以使用@Transactional注解来实现事务管理，有人在Service上加了@Transactional，当执行成功，才算从Kafka中消费了该条消息，但这就导致作用域太大，如果Service中有十条是update，有一条因为某种原因失效了，那么就会回滚，从而一直堵塞在这里。。。 ...

Kafka异常处理(消费者不消费数据)