华为云上的一次kafka集群故障处理

已于 2022-02-17 11:14:33 修改
阅读量4.1k 收藏
点赞数
分类专栏： 软件实践 文章标签： kafka 华为云 分布式
于 2022-02-17 11:12:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tizaitian/article/details/122978842
版权
这篇博客记录了一个Kafka生产者和消费者出现超时及网络异常的问题。日志显示大量记录超时，并且节点间通信丢包严重。经过分析，发现`listeners`和`advertised.listeners`配置不一致，导致网络通信问题。解决方案是将`advertised.listeners`设置为内网地址，并重启Kafka服务，问题得到解决。
摘要由CSDN通过智能技术生成

问题现象:

    生产者的日志中大量的超时

    2022-02-17 09:29:41,692 [kafka-producer-network-thread | monolith-rule-engine-xm2m-IOT-0003] WARN  o.t.s.q.k.TbKafkaProducerTemplate - Producer template failure: Expiring 2 record(s) for tb_rule_engine.main.0-0:120000 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for tb_rule_engine.main.0-0:120000 ms has passed since batch creation
2022-02-17 09:29:41,692 [kafka-producer-network-thread | monolith-rule-engine-xm2m-IOT-0003] WARN  o.t.s.q.k.TbKafkaProducerTemplate - Producer template failure: Expiring 2 record(s) for tb_rule_engine.main.0-0:120000 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 2 record(s) for tb_rule_engine.main.0-0:120000 ms has passed since batch creation
2022-02-17 09:29:42,167 [tb-rule-engine-consumer-29-thread-3] INFO  o.a.k.clients.FetchSessionHandler - [Consumer clientId=re-Main-consumer-xm2m-IOT-0003, groupId=re-Main-consumer-xm2m-IOT-0003] Error sending fetch request (sessionId=1512270209, epoch=INITIAL) to node 2: org.apache.kafka.common.errors.DisconnectException.
2022-02-17 09:29:51,395 [kafka-producer-network-thread | monolith-transport-api-producer-xm2m-IOT-0003] WARN  o.t.s.q.k.TbKafkaProducerTemplate - Producer template failure: Expiring 4 record(s) for tb_transport.api.responses.xm2m_transport_01-0:120000 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 4 record(s) for tb_transport.api.responses.xm2m_transport_01-0:120000 ms has passed since batch creation
2022-02-17 09:29:51,395 [kafka-producer-network-thread | monolith-transport-api-producer-xm2m-IOT-0003] WARN  o.t.s.q.k.TbKafkaProducerTemplate - Producer template failure: Expiring 4 record(s) for tb_transport.api.responses.xm2m_transport_01-0:120000 ms has passed since batch creation
org.apache.kafka.common.errors.TimeoutException: Expiring 4 record(s) for tb_transport.api.responses.xm2m_transport_01-0:120000 ms has passed since batch creation

  另有一行日志：

  [2022-02-17 09:20:18,494] ERROR Error while creating ephemeral at /brokers/ids/0, node already exists and owner '179866866520031379' does not match current session '251925893726535682' (kafka.zk.KafkaZkClient$CheckedEphemeral)

问题分析：

  1.通过kafka-topics.sh --list未发现问题；

  2.怀疑有节点服务宕掉，但通过查看进程未发现问题；

  3.只好检查配置文件了，发现

# The address the socket server listens on. It will get the value returned from 
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
#     listeners = PLAINTEXT://your.host.name:9092
listeners=PLAINTEXT://192.168.0.227:9092

# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://120.13.124.213:9092

listeners和advertised.listeners不一致。

一个内网地址，一个公网地址。

节点间通过advertised.listeners配置的公网地址互相ping,发现丢包率很高。

于是修改advertised.listeners为私网地址。

然后在各个节点上重启kafka.

问题解决。

codeRichLife
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
kafka限流导致spark写异常
L13763338360的博客
10-07 1135
最近上线一个业务，大量数据从hive加工后，写入kaka。规模：200+任务spark任务并发数量：30每个spark任务vocres：20运行一段时间后，抛出异常。
flink 写入kafka报错 *** ms has passed since batch creation plus linger time
zc280330的博客
07-02 9363
首先我们来看看batchsize 和linger time Kafka需要在吞吐量和延迟之间取得平衡,可以通过下面两个参数控制.batch.size 当多个消息发送到相同分区时,生产者会将消息打包到一起,以减少请求交互. 而不是一条条发送 批次的大小可以通过batch.size 参数设置.默认是16KB 较小的批次大小有可能降低吞吐量（批次大小为0则完全禁用批处理）。 一个非常大的批次大小可能会浪费内存。因为我们会预先分配这个资源。 例子 比如说发送消息的频率就是每秒...
报错：org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for mySecondTopic-2:
邵奈一的博客
10-19 5393
大家好，我是邵奈一，一个不务正业的程序猿、正儿八经的斜杠青年。 1、世人称我为：被代码耽误的诗人、没天赋的书法家、五音不全的歌手、专业跑龙套演员、不合格的运动员… 2、这几年，我整理了很多IT技术相关的教程给大家，主要是大数据教程，帮助了很多小伙伴入坑大数据行业。 3、如果您觉得文章有用，请收藏，转发，评论，并关注我，谢谢！ 博客导航跳转（请收藏）：邵奈一的技术博客导航 | 公众号 | 微信 | 微博 | CSDN | 简书 | 报错如下： java.util.concurrent.ExecutionE.
ERROR Error while creating ephemeral at /brokers/ids/1, node already exists
爱折腾的小土豆的博客
07-02 2345
启动kafka broker报错以上错误原因： kafka的config目录下的server.properties文件中的broker.id出现了重复，导致zookeeper上出现的实例注册的ids/... 与broker本地配置的不一致，导致冲突，导致broker无法启动。 解决方法： 一、修改本地broker id 对照zk上注册的ids实例，进行对照修改；get /brokers/ids/1 会出现对应的kafka broker 的ip二、登陆zk ，删除、brokers/...
Kafka - TimeoutException: Expiring 1 record(s) for art-0:120001 ms has passed since batch creation
小工匠
10-26 9751
不关闭防火墙，但是建议本机防火墙开放特定端口，可以使用如下命令 （使用root账户）我并没有大改配置，具体的配置可参考。结果都是关闭的 （建议开放特定端口）可以看消费者的控制台程序，输出正常。要解决这个问题，修改如上配置即可。这种情况，肯定要先看网络问题嘛。如下的配置并没有修改。
国内三大云厂商（华为、腾讯、阿里）云主体框架对比
最新发布
qq_61890005的博客
06-16 925
云计算作为数字经济的底座，华为云、阿里云、腾讯云等云厂商整体处于第一梯队。大禹是飞天内核中负责提供配置管理和部署的模块，它包括一套为集群的运维人员提供的完整工具集，功能涵盖了集群配置信息的集中管理、集群的自动化部署、集群的在线升级、集群扩容、集群缩容，以及为其他模块提供集群基本信息等。盘古是一个分布式文件系统，提供一个海量的、可靠的、可扩展的数据存储服务，将集群中各个节点的存储能力聚集起来，自动屏蔽软硬件故障，提供大规模、高可靠、高可用、高吞吐量和可扩展的存储服务，是飞天平台内核中的一个重要组成部分。
Kafka最佳实践-Kafka常见的使用误区
HWCloudDeveloper的博客
03-22 1213
1.kafka集群单个节点磁盘挂载的越多越好 业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失败，从而影响业务。 建议： 建议每个节点挂盘数，满足每台机器最大挂盘数量 <= processor（CPU逻辑
通过一个Kafka故障解决过程阐述架构师必须具备的架构思维
m0_69379016的博客
04-15 1869
[Java进阶之梯，成长路线与学习资料，助力突破中间件领域](() [](()1、问题描述 某一天突然收到开发环境Kafka报 IO Exception(many open files)，其相关的日志如下： 问题是发生在公司的开发环境，为了避免信息泄露，我在本地进行了模拟，不影响本次问题的分析与学习。 [](()2、问题分析 首先我们要能看懂Kafka-manager上的一些监控指标，topic列表中关于topic的信息项如下所示： topic topic名称 Partitions 分区数
华为大数据认证：Flink流计算处理和批处理平台.pptx
09-24
Flink是一个强大的计算框架，它将批处理和流处理集成在一个统一的平台上，尤其在流处理领域表现出色，被誉为业界顶尖的开源流处理引擎。 **Flink概述** Flink的设计目标是提供高效、低延迟的数据处理能力。它是一个...
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群
Java程序员廖志伟
01-05 1785
使用Docker-Compose部署MySQL一主二从同步高可用MHA集群，图文视频结合。
Spring Boot 集成 Kafka 遇到问题
weixin_45626288的博客
06-02 4648
问题1：nested exception is org.apache.kafka.common.errors.RecordTooLargeException: 异常类: nested exception is org.apache.kafka.common.errors.RecordTooLargeException: 很明显，消息体目前过大。需要提高Kafka服务器能够接收的最大数据大小。 解决方法：提高Kafka服务器单条消息最大大小。配置参数 message.max.bytes 我的方法：生产环境大概
Kafka 中的一些坑
qi_ming_hao_nan的博客
05-14 2538
引言 以此记录一下在使用 Kafka 的过程中遇到的一些古怪问题 因为是初学，所以遇到的问题还不算多，之后会慢慢更新（大概 👀） 生产者相关 记录一下有关 Producer 的一些问题 Topic 不存在 问题描述：org.apache.kafka.common.errors.TimeoutException: Topic xxx not present in metadata after xxx ms. 很显然，意思是 Topic 不存在于 metadata 导致了 Producer 发送超
kafka连接报错
weixin_43224068的博客
01-07 1122
报错内容：org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for itheima-0: 30040 ms has passed since batch creation plus linger time 解决办法： [root@hadoop config]# vim server.properties b...
Win10场景下安装Kafka&&kafka简单教程&&kafka常见问题排坑
weixin_42226303的博客
09-27 1976
这次是用的Win10进行的安装，因为线上的Kafka不方便排查问题，故在本地也安装了一套，用于本地开发测试使用。一般开源成熟的组件都会有自己的官网，里面有非常详细的文档以及工下载安装包的地址信息。访问Kafka官网https://kafka.apache.org/；因为Kafka存在版本兼容的问题，所有会导致一些命令启动或创建会报错。需要注意的是 在config下kafka的配置里。修改zookeeper和kafka的内存大小。这样两边都可以互相收发消息。解决方法：删除两个缓存文件。一定要把这一行给放开。
Kafka常见问题一：访问超时
Irene的博客
03-10 7920
Expiring 1 record(s) for coresys_api_output_bindinfo_category-4: 9721 ms has passed since batch creation plus linger time
Expiring 1 record(s) for canalEtl_hn-0: 30017 ms has passed since batch creation plus linger time
雅冰石的专栏
01-19 3498
一 问题描述 canal instance报错： Caused by: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.TimeoutException: Expiring 1 record(s) for canalEtl_hn-0: 30017 ms has passed since batch creation plus linger time 二 解决办法 修改canal server的/etc/h
docker 异常关闭后启动kafka报错：ERROR Error while creating ephemeral at /brokers/ids/1, node already exists
qq_28433521的博客
06-03 271
【代码】docker 异常关闭后启动kafka报错：ERROR Error while creating ephemeral at /brokers/ids/1, node already exists。
Kafka配置文件
大宇的博客，欢迎访问
01-10 7980
spring: #重要提示:kafka配置,该配置属性将直接注入到KafkaTemplate中 kafka: bootstrap-servers: 10.200.8.29:9092 #https://kafka.apache.org/documentation/#producerconfigs producer: bootstrap-servers: 10.200.8.29:9092 retries: 1 #生产者发送消息失败重试次数 b.
使用spring-kafka 发送华为云roma connec kafka消息
02-07
使用Spring Kafka发送华为云ROMA Connect Kafka消息可以按照以下步骤进行： 1. 首先，确保已经在项目中引入了Spring Kafka的依赖。可以在项目的pom.xml文件中添加以下依赖： ```xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.8.0</version> </dependency> ``` 2. 在Spring Boot的配置文件中，配置Kafka的连接信息。可以在application.properties或application.yml文件中添加以下配置： ```properties spring.kafka.bootstrap-servers=<kafka-bootstrap-servers> spring.kafka.producer.key-serializer=org.apache.kafka.common.serialization.StringSerializer spring.kafka.producer.value-serializer=org.apache.kafka.common.serialization.StringSerializer ``` 其中，`<kafka-bootstrap-servers>`是华为云ROMA Connect Kafka的bootstrap servers地址。 3. 创建一个KafkaProducer的Bean，用于发送消息。可以在Spring Boot的配置类中添加以下代码： ```java import org.apache.kafka.clients.producer.ProducerConfig; import org.apache.kafka.common.serialization.StringSerializer; import import org.springframework.context.annotation.Bean; import org.springframework.context.annotation.Configuration; import org.springframework.kafka.core.DefaultKafkaProducerFactory; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.kafka.core.ProducerFactory; import java.util.HashMap; import java.util.Map; @Configuration public class KafkaConfig { @Bean public ProducerFactory<String, String> producerFactory() { Map<String, Object> configProps = new HashMap<>(); configProps.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "<kafka-bootstrap-servers>"); configProps.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class); configProps.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class); return new DefaultKafkaProducerFactory<>(configProps); } @Bean public KafkaTemplate<String, String> kafkaTemplate() { return new KafkaTemplate<>(producerFactory()); } } ``` 其中，`<kafka-bootstrap-servers>`是华为云ROMA Connect Kafka的bootstrap servers地址。 4. 在需要发送消息的地方，注入KafkaTemplate，并使用它发送消息。可以在任何Spring管理的Bean中注入KafkaTemplate，并调用其`send()`方法发送消息。以下是一个示例： ```java import org.springframework.beans.factory.annotation.Autowired; import org.springframework.kafka.core.KafkaTemplate; import org.springframework.stereotype.Component; @Component public class KafkaMessageSender { private final KafkaTemplate<String, String> kafkaTemplate; @Autowired public KafkaMessageSender(KafkaTemplate<String, String> kafkaTemplate) { this.kafkaTemplate = kafkaTemplate; } public void sendMessage(String topic, String message) { kafkaTemplate.send(topic, message); } } ``` 在上述示例中，`KafkaMessageSender`类注入了`KafkaTemplate`，并提供了一个`sendMessage()`方法用于发送消息。 这样，你就可以使用Spring Kafka发送华为云ROMA Connect Kafka消息了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值