【Flink】Flink 消费 kafka报错 写入 es 死信队列 FetchSessionHandler DisconnectException、写入卡死

已于 2023-04-05 21:08:20 修改
阅读量1.4k 收藏
点赞数
分类专栏： 大数据-flink 文章标签： flink es 死信队列 卡死
于 2021-01-26 20:57:52 首次发布
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/113186374
版权
大数据-flink 专栏收录该内容
838 篇文章 847 订阅 ¥99.90 ¥299.90
订阅专栏
在某个Flink流计算任务中，遇到写入Elasticsearch（ES）时卡死的问题，原因是Kafka消费者停止消费且数据未写入ES。故障排查发现，当ES写入超时导致队列满时，Flink任务似乎停滞。解决方案包括直接丢弃数据或把异常数据发送到特定Kafka主题。这个问题与ES的性能和稳定性有关，可以通过优化策略提升ES的写入性能。
摘要由CSDN通过智能技术生成

文章目录


在这里插入图片描述

1.背景

这个问题曾经是一个现场发生的，flink写入ES卡死，看起来是kafka不消费了，而且不写入es了，整个流计算任务好像卡死了。到现场排查也没有排查出来，因为流计算任务日志很大，使用yarn命令都无法下载日志，几百G的日志好像，这个问题是一周或者几周后出现的，所以当时一直没看到问题，后来老大去看的，才在后面发现了日志。

一个flink程序，其他环境一直没报错，这个环境偶然报错，错误如下

2021-01-26 12:37:03,908 INFO
了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
【Flink】FLink checkpoint 某个 subtask 特别耗时 DisconnectException: null
九师兄
12-30 2378
1.概述 遇到有遇到过这种情况的么？某个subtask的ck时间总是比其他的subtask久很多，检查各个subtask的消费，也没有数据倾斜，好几次ck超时都是被这个subtask拖垮的 日志开始报org.apache.kafka.common.errors.DisconnectException: null，调整request.timeout.ms后就不怎么报了。 TM的PS_Scavenge次数较大，但是3个TM都较大，唯独每次都是同一个subtask的ck时间较突出。 作业背压在kafka sou
《基于 Kafka + Flink + ES 实现危急值处理措施推荐和范围校准》
山人行
07-08 1696
本篇文章分享一下博主所在公司的危急值处理措施推荐和范围校准的实现方案。主要是基于 Kafka + Flink + Elasticsearch 实现，由于涉及隐私问题，内容以方案介绍为主，有需要探讨的可以留言。好，让我们开始。上文介绍了博主所在公司的《基于 Kafka + Flink + ES 实现危急值处理措施推荐和范围校准》方案。💗 后续会逐步分享企业实际开发中的实战经验，有需要交流的可以联系博主。
flink连接kafka报错
weixin_44688998的博客
09-21 1304
flink连接kafka报错问题解决办法
Flink读取Kafka数据批量写入ES(elasticsearch)
m0_67401228的博客
04-02 3755
Flink实时消费kafka数据，数据经过处理，富化、清洗等操作，写入ES。在流式计算中，此场景十分常见。 本文采用ES的批量操作BulkProcessor方式，此方式使用的是TransportClient，基于Tcp协议;而rest方式采用的是restClient，基于http协议，并不能保证结果的准确性。 参考 一、依赖准备： 主要依赖： <dependency> <groupId>org.elasticsearch</groupId> <art
记一次线上环境flink任务连接kafka失败的问题
Lhm00913的博客
04-19 1175
flink无法连接kafka导致flink任务一直重启
flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关的demo
06-26
代码主要包含：flink采集文本数据写入ES，flink消费kafka数据写入ES,以及一些flink相关数据流相关的数据采集demo，附带有demo的技术文档，文档主要介绍了如何编译jar包，在flink的管理页面如何提交任务。 1、技术...
flink写入带kerberos认证的kudu connector
03-24
在大数据处理领域，Apache Flink 是一款强大的流处理框架，而 Apache Kudu 是一个用于实时分析的数据存储系统。当Flink需要与Kudu交互时，Kerberos认证机制的引入是为了增强系统的安全性，防止未授权的访问。本文将...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
在配置文件（如`application.yml`）中，我们需要配置Kafka的消费组、主题和服务器地址，以及Elasticsearch的节点地址。例如： ```yaml spring: kafka: consumer: group-id: log-consumer-group bootstrap-...
flink-streamer:在flink中使用Kafka消息并将其沉入ElasticSearch
05-18
flink-streamer 一个演示应用程序，它从kafka接收实时消息，并对它们执行一些数据处理工作，并将其最终存储到ElasticSearch中。为什么要定制沉降片？ Flink ElasticSearch Connector仅在5.x之前的版本中支持Elastic...
基于flink-cdc实现监控数据源的实时变更数据捕获
06-06
Flink-CDC会监听MySQL的Binlog，通过解析日志捕获变更，然后将变更数据通过Flink的Changelog格式写入目标存储，如Kafka、ElasticSearch等。新版本还支持动态加表、水平扩展和优化的增量快照读取算法，以提升效率和...
Kafka连接器深度解读之错误处理和死信队列
weixin_33845881的博客
04-08 965
为什么80%的码农都做不了架构师？>>> ...
kafka消费者报错INVALID_FETCH_SESSION_EPOCH
热门推荐
qq_42150559的博客
09-11 2万+
完整报错 [2019-09-11T12:09:49,735][INFO ][org.apache.kafka.clients.FetchSessionHandler] [Consumer clientId=logstash2es-consumer-1, groupId=logstash2es-consumer] Node 4 was unable to process the fetch requ...
记一次宕机造成的flink消费Kafka topic失败问题
好记性不如烂笔头
04-13 831
kafka报错：Error while fetching metadata with correlation id 72 ：{topic=LEADER_NOT_AVAILABLE}
kafka-flink-ES
Future_w2h的博客
09-03 271
public class app_real_msg_user_ga { public static void main(String[] args) throws Exception { String kafkaSourceServers = "10.97.217.194:19090,10.97.217.194:19091,10.97.217.194:19092"; String kafkaUser = "admin"; String kafkaPas
SpringBoot整合SpringCloudStream3.1+版本的Kafka死信队列
qq_43975645的博客
07-19 831
try {log . info("发送消息：" + message);log . error("异常消息：" + e);} }
spring kafka 死信队列
batman
02-04 8740
文章目录前言环境搭建代码演示 前言 Spring-kafka内部封装了可重试消费消息的语义，也就是可以设置为当消费数据出现异常时，重试这个消息。而且可以设置重试达到多少次后，让消息进入预定好的Topic。也就是死信队列里。 环境搭建 搭建单机版kafka，docker-compose.yml文件如下： version: '2' services: zookeeper: image: wurstmeister/zookeeper ## 镜像 ports: - "2181:.
spring cloud stream kafka rabbit 实现死信队列
batman
02-08 1765
文章目录前言RabbitMQ实现环境搭建代码演示测试代码Kafka实现环境搭建代码演示测试代码 前言 之前写过一篇，spring kafka 死信队列，这个文章是写的spring kafka的，该篇记录下基于spring cloud stream实现死信队列，方便以后用到的时候翻阅，有不对的地方或者需要改进的地方，还请各位提出。 RabbitMQ实现 环境搭建 还是老规矩使用docker-compose启动，下面先给出脚本，这是搭建了一个集群的方式。 version: "2" services: .
Apache Flink中TaskManager，SubTask，TaskSlot，并行度之间的关系
最新发布
0102的博客
08-11 842
另外一个方面是在Flink中运行的task对CPU资源的占用不同，有CUP密集型task 操作和CPU非密集型task操作情况，例如在Flink集群中source和map操作只是读数据后转换，对CPU占用短，但是window这种穿口计算聚合操作设计大量数据计算，占用CPU资源长，这就导致运行时候source/map，sink操作非常快，window操作时间长，source/map对应的subtask会等待window对应的subtask执行，同样sink的对应的。Flink中哪些操作可以合并一起？
flink 1.12 kafka 写elasticsearch
06-11
如果您想使用Flink 1.12将Kafka数据写入Elasticsearch中，可以按照以下步骤操作： 1. 首先，您需要在项目中添加Flink的Kafka和Elasticsearch依赖，例如： ```xml <groupId>org.apache.flink <artifactId>flink-...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值