【Flink】Flink 消费 kafka报错 写入 es 死信队列 FetchSessionHandler DisconnectException、写入卡死

已于 2023-04-05 21:08:20 修改
阅读量1.5k 收藏
点赞数
分类专栏： 2025最新-大数据-flink 文章标签： flink es 死信队列 卡死
于 2021-01-26 20:57:52 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113186374
版权
2025最新-大数据-flink 专栏收录该内容
854 篇文章 873 订阅 ¥99.90 ¥299.90
订阅专栏
在某个Flink流计算任务中，遇到写入Elasticsearch（ES）时卡死的问题，原因是Kafka消费者停止消费且数据未写入ES。故障排查发现，当ES写入超时导致队列满时，Flink任务似乎停滞。解决方案包括直接丢弃数据或把异常数据发送到特定Kafka主题。这个问题与ES的性能和稳定性有关，可以通过优化策略提升ES的写入性能。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.背景

这个问题曾经是一个现场发生的，flink写入ES卡死，看起来是kafka不消费了，而且不写入es了，整个流计算任务好像卡死了。到现场排查也没有排查出来，因为流计算任务日志很大，使用yarn命令都无法下载日志，几百G的日志好像，这个问题是一周或者几周后出现的，所以当时一直没看到问题，后来老大去看的，才在后面发现了日志。

一个flink程序，其他环境一直没报错，这个环境偶然报错，错误如下

2021-01-26 12:37
了解本专栏 订阅专栏 解锁全文
【kafka】Flink消费kafka Error sending fetch request
九师兄
03-09 4801
【kafka】Kafka Fetch Session 剖析flink 消费 kafka 偶尔会出现这种日志。具体如下【九师兄出品】初一看应该链接问题，检查kafka集群发现生产流量正常，消费流量出现降，这应该就是flink消费端链接kafka出现了问题。
【Flink】FLink checkpoint 某个 subtask 特别耗时 DisconnectException: null
九师兄
12-30 2490
遇到有遇到过这种情况的么？某个subtask的ck时间总是比其他的subtask久很多，检查各个subtask的消费，也没有数据倾斜，好几次ck超时都是被这个subtask拖垮的日志开始报org.apache.kafka.common.errors.DisconnectException: null，调整request.timeout.ms后就不怎么报了。TM的PS_Scavenge次数较大，但是3个TM都较大，唯独每次都是同一个subtask的ck时间较突出。
flink连接kafka报错
weixin_44688998的博客
09-21 1393
flink连接kafka报错问题解决办法
记一次ES写入优化
最新发布
GeekerJava的博客
11-24 2866
在translog文件被 fsync 到磁盘前，如果发生重启则被写入的文件就会丢失，因此如果你的系统对于丢失 sync_interval 时间段的数据也无所谓，那将translog的刷盘操作修改为异步对写入性能提高很有帮助，虽然sync_interval设置的很小，但是如果是批量写入数据系统宕机情况下丢失数据量也是很大的，需要慎重依据自己的场景使用，避免数据丢失。我们系统通过ES存储告警数据，性能测试过程中测试反馈有一台单机环境ES数据有延迟，随着运行时间增长，延迟越来越明显，影响了正常功能需要解决。
Flink读取Kafka数据批量写入ES(elasticsearch)
m0_67401228的博客
04-02 3835
Flink实时消费kafka数据，数据经过处理，富化、清洗等操作，写入ES。在流式计算中，此场景十分常见。 本文采用ES的批量操作BulkProcessor方式，此方式使用的是TransportClient，基于Tcp协议;而rest方式采用的是restClient，基于http协议，并不能保证结果的准确性。 参考 一、依赖准备： 主要依赖： <dependency> <groupId>org.elasticsearch</groupId> <art
Flink Checkpoint中的某个子任务耗时异常：DisconnectException: null
BugCrusher的博客
09-02 275
DisconnectException是Flink中的一个异常类型，它表示与任务管理器或其他组件之间的连接中断。通过以上措施，我们可以更好地处理DisconnectException异常，并提高Flink任务的容错性和稳定性。通过验证网络连接和合理配置任务管理器的资源，我们可以减少DisconnectException的发生，并确保Flink任务的正常运行。调整任务管理器的资源配置：如果DisconnectException是由于资源不足导致的，我们可以考虑调整任务管理器的资源配置。函数中处理数据逻辑。
Flink消费Kafka数据写入Elasticsearch
weixin_43861104的博客
07-17 926
本案例通过flink消费kafka数据，写入elasticsearch，自动生成索引，其中flink版本为1.10.0，es版本为6.4.3。 package com.bigdata.flink.sinks; import com.bigdata.project.utils.FlinkUtils; import org.apache.flink.api.common.functions.RuntimeContext; import org.apache.flink.api.common.serializ
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...
Flink 读取 Kafka 消息写入 Hudi 表无报错但没有写入任何记录的解决方法
Laurence的技术博客
01-31 1119
本问题发生的场景是：使用 Kafka Connect 的 Debezium MySQL Source Connector 将 MySQL 的 CDC 数据 （Confluent Avro 格式）接入到 Kafka 之后，通过 Flink 读取并解析这些 CDC 数据，然后写入到 Hudi 表中。在测试过程中发现：启动写入作业后，Hudi 表中迟迟没有数据写入，而 Flink 作业也没有报错。实际上，这应该是一比较常见的问题，我们的测试环境并没有特别的配置，大多数初次进行集成的开发者，大概率都会遇到这一问题，
flink 写入到es_scala Flink读取kafka 写入es(elasticsearch) 简单实现
weixin_39669982的博客
12-31 910
scala Flink读取kafka 写入elasticsearch 简单实现引入pom依赖es的Mapping读取kafka 写入es 代码实现scala 构建kafka生产者scala 构建kafka消费者引入pom依赖org.apache.kafkakafka_2.111.1.0org.apache.kafkakafka-clients1.1.0org.apache.flinkflink-c...
记一次线上环境flink任务连接kafka失败的问题
Lhm00913的博客
04-19 1333
flink无法连接kafka导致flink任务一直重启
Kafka连接器深度解读之错误处理和死信队列
weixin_33845881的博客
04-08 1002
为什么80%的码农都做不了架构师？>>> ...
Flink向Kafka写入数据时报错——在接收到响应之前服务器断开连接
2301_79367634的博客
08-12 1032
然而，在实际应用过程中，有时可能会遇到Flink向Kafka写入数据时出现服务器断开连接的错误。本文介绍了Flink向Kafka写入数据时出现服务器断开连接的问题，并提供了相应的解决方案。在实际应用过程中，合理配置Flink和Kafka的参数，以及仔细检查网络连接和服务器配置，都能够帮助我们解决这一问题。以上是解决Flink向Kafka写入数据时报错的一些常见方法，根据具体情况选择合适的解决方案，并进行正确配置。通过这些方法，我们可以解决大数据处理中遇到的服务器断开连接问题，保障数据流的顺利传输。
kafka消费者报错INVALID_FETCH_SESSION_EPOCH
热门推荐
qq_42150559的博客
09-11 2万+
完整报错 [2019-09-11T12:09:49,735][INFO ][org.apache.kafka.clients.FetchSessionHandler] [Consumer clientId=logstash2es-consumer-1, groupId=logstash2es-consumer] Node 4 was unable to process the fetch requ...
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 912
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
kafka-flink-ES
Future_w2h的博客
09-03 345
public class app_real_msg_user_ga { public static void main(String[] args) throws Exception { String kafkaSourceServers = "10.97.217.194:19090,10.97.217.194:19091,10.97.217.194:19092"; String kafkaUser = "admin"; String kafkaPas
Kafka系列之：Dead Letter Queue死信队列DLQ
zhengzaifeidelushang的博客
08-14 636
当设置errors.deadletterqueue.context.headers.enable参数为true时，记录头将被添加到DLQ中——默认值为false。然后，可以使用kcat（以前称为kafkacat）实用程序，用于Confluent Platform查看记录头并确定记录失败的原因。要确定记录是否失败，必须使用内部度量标准，或计算源中的记录数并将其与处理的记录数进行比较。当errors.tolerance设置为none时，错误或无效记录会导致连接器任务立即失败，并将连接器置于失败状态。
SpringBoot整合SpringCloudStream3.1+版本的Kafka死信队列
qq_43975645的博客
07-19 915
try {log . info("发送消息：" + message);log . error("异常消息：" + e);} }
spring kafka 死信队列
batman
02-04 9031
文章目录前言环境搭建代码演示 前言 Spring-kafka内部封装了可重试消费消息的语义，也就是可以设置为当消费数据出现异常时，重试这个消息。而且可以设置重试达到多少次后，让消息进入预定好的Topic。也就是死信队列里。 环境搭建 搭建单机版kafka，docker-compose.yml文件如下： version: '2' services: zookeeper: image: wurstmeister/zookeeper ## 镜像 ports: - "2181:.
Flink SQL Client必备：Kafka、ES、MySQL操作jar包下载指南
根据描述，这个压缩包包含了操作Kafka、Elasticsearch（ES）以及MySQL数据库所需的jar文件。这样的jar包通常用于支持Flink SQL Client能够执行与这些数据源相关的SQL查询和操作。下载后，需要将这些jar文件放置在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值