kafka报错打开文件数过多导致kafka关闭

最新推荐文章于 2023-06-24 17:55:27 发布
最新推荐文章于 2023-06-24 17:55:27 发布
阅读量4.1k 收藏 3
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhiniu_xuyw/article/details/108882378
版权

监控到业务异常，kafka异常

查看kafka日志，发现大量错误日志：

ERROR Error while accepting connection (kafka.network.Acceptor)
 java.io.IOException: 打开的文件过多

lsof -p kafka-pid 看有上万个文件句柄

使用自写的删除topic工具，删除一部分历史topic后，重启kafka，问题解决。之后继续删除topic，文件句柄降到2000。

1.运维规范：kafka历史topic定时清理，可配置job

一只牛_007
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
记一次Kafka 故障Too many open files问题
weixin_41162023的博客
05-09 2097
查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。生效并重启，问题解决；20220906 13:01 十几次的kafka打开文件句柄数的值均在。左右，大多没超过4096，故猜测之前62天没有报错过原因于此。
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 7584
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
java.io.IOException: Too many open files-处理方法
qq_40910788的博客
06-24 3229
出现问题的原因： 1.可能是程序打开文件没有使用close()方法关闭打开的流，导致程序一直占用 2.可能是服务器允许每个用户打开文件的最大数量有限制（这种在文件使用关闭后，打开数量会降低） 针对第二种的处理方法： ps -ef|grep java 查看端口 lsof -p 端口 | wc -l 查看此端口打开的文件数量 ulimit -a 查看允许每个用户打开文件的最大数量 ulimit -n 4096 修改最大数量 ps:open files (-n) 1024这个参数就是系统默认允许用户打开文件最
Kafka运行一段时间报错Too many open files
weixin_34377919的博客
04-13 1521
　　　　　　　　　　　　　　　　Kafka运行一段时间报错Too many open files 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka运行一段时间报错 1>.我最近把kafka集群搭建在了 ubantu操作系统，发现运行一段时间日志报...
警告！kafka的配置文件千万千万千万不要有空格！
wangkaichens的博客
12-18 736
配置完kafka，启动，看到了kafka进程，然后创建topic 报错说创建的副本数量比broker的数量多，并显示我可用的broker数量为0 一看，kafka进程没了 原来是kafka启动的问题： 发现刚启动是有kafka进程的，完了过一小会儿kafka进程就没了 一搜全是说用守护进程启动，-daemon 可是我就是啊！！ 然后去查看logs/server.log发现没啥，他是这...
kafka 由于网络原因，最后报错打开的文件过多 (org.apache.zookeeper.ClientCnxn)停止结束服务，求教！ --- 采坑
qq_41497111的博客
05-06 4541
kafka 运行好好地，今天一用发现有一台服务停了，最后查看日志发现为网络原因，打开文件过多，代理停止。求教大佬解决方案！ [2019-05-01 17:59:08,224] INFO Socket error occurred: 192.168.5.101/192.168.5.101:2181: 网络不可达 (org.apache.zookeeper.ClientCnxn) [2019-05...
关于kafka无法远程连接的问题
sghuu的博客
11-18 3514
在远程搭建了一个单机kafka，该单机上能够常见消费者和生产者，都能正常运行，但是在远程的其他机器上一只无法消费，在远程创建消费者连接是一直报错 解决方法 ： 修改服务器Kafka配置文件server.properties， 在#listeners=PLAINTEXT://:9092下添加如下一行： advertised.listeners=PLAINTEXT://x.x.x.x:9092 （x.x.x.x为服务器对外的IP） ...
总结--内存 + 智能指针
等闲的博客
09-12 307
在内存这块我们主要讨论一下几方面： C语言内存（new 、delete）、智能指针、内存泄漏 C语言内存（new 、delete） 在现代c++中，应该尽量避免使用底层内存，而是只用现代结构，例如容器、智能指针。 mallo()、与new的区别 malloc只负责申请你所指定的内存大小。而new不仅会分配正确的内存大小，还会调用相应的对象的构造函数以构建对象。 free()和delete的区别 使用free()时不会调用对象的析构函数，使用delete会调用对象的析构函...
三步手写mybatis，直击优秀开源框架灵魂
xingduan5153的博客
08-21 271
Mybatis 介绍： 框架的作用： Mybatis是一个数据持久层框架（dao层），数据持久化，将数据从内存中存储到硬盘中 框架的特点： Jdbc的缺点： 代码重复性高，反复的建立连接 Sql语句，采用硬编码，sql语句写在java代码中 参数的植入，它跟java的耦合性高 结果集的处理非常的麻烦 Mybatis优点： 让程序员只关注...
CDH平台kafka配置文件以及相关操作
07-07
CDH大数据平台kafka配置文件以及相关操作
kafka大文件的代码
01-03
本文将详细解析如何在处理大文件时，优化Kafka的配置参数，确保高效、稳定地进行数据生产和消费。 首先，我们要了解Kafka的核心组件：生产者（Producer）和消费者（Consumer）。生产者负责将数据写入Kafka的主题...
Spring 集成 Kafka的配置文件及代码讲解
04-12
接下来，我们来配置Spring Boot的`application.yml`或`application.properties`文件以连接到Kafka集群。这里是一个示例配置： ```yaml spring: kafka: bootstrap-servers: localhost:9092 # Kafka服务器地址 ...
在kubernetes上运行apache kafka并打开shift
最新发布
03-01
这通常通过YAML文件完成，如`kafka-deployment.yaml`和`kafka-service.yaml`。 2. **设置持久卷（Persistent Volumes）**: Kafka的数据存储需要持久化，因此需要在Kubernetes中设置持久卷和持久卷声明，确保数据在...
kafka 配置文件
02-22
这里我们关注的焦点是 Kafka 的配置文件，包括 `server.properties`、`consumer.properties` 和 `producer.properties`，它们对于理解和优化 Kafka 集群的运行至关重要。 首先，我们来看 `server.properties` 文件...
Linux启动kafka无反应（内存不足）
weixin_48909429的博客
05-22 528
KafkaServer.out报Java OpenJDK(TM) 64-Bit Server VM warning: INFO: os::commit_memory(0x000000c0000000, 4096, 0) failed;修改bin/kafka-server-start.sh，将export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"修改为export KAFKA_HEAP_OPTS="-Xmx256m -Xms256m"即可。解决办法：修改启动脚本的内存参数。
kafka创建主题时循环报错 java.net.ConnectException: 拒绝连接...【已解决】
杨大仙
11-18 2614
今天犯了一个很低级的错误，导致循环报错：拒绝连接。报错信息如下： java.net.ConnectException: 拒绝连接 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.apache.zookeeper.ClientC
拯救linux服务器内存太小引发kafka内存问题
july_young的博客
08-07 2747
然后进入kafka_2.12-0.11.0.0的bin目录，找到kafka-server-start.sh文件，vi kafka-server-start.sh 找到这一行export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"  改为   export KAFKA_HEAP_OPTS="-Xmx256M -Xms128M"         #如果内存改的太小也会出错 ...
kafka 异常汇总
gongcw
02-12 690
1. 启动时异常 1.1 java.net.bindException: cannot assign requested address 错误提示： kafka.common.kafkaException:failed to bing to ip:9092:java.net.bindException: cannot assign requested address 原因： 使用外网 ip 解决...
【Kafka】Kafka ArithmeticException: / by zer
九师兄
08-06 708
1.背景 [2020-08-06 18:49:52,782] ERROR Error while accepting connection (kafka.network.Acceptor) java.lang.ArithmeticException: / by zero at kafka.network.Acceptor.run(SocketServer.scala:354) at java.lang.Thread.run(Thread.java:748) [2020-08-06 18:49:52,7.
如何捕获kafka报错信息
07-29
要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。 通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值