kafka报错打开文件数过多导致kafka关闭

最新推荐文章于 2023-06-24 17:55:27 发布
最新推荐文章于 2023-06-24 17:55:27 发布
阅读量4.1k 收藏 3
点赞数
分类专栏： kafka 文章标签： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yizhiniu_xuyw/article/details/108882378
版权

监控到业务异常，kafka异常

查看kafka日志，发现大量错误日志：

ERROR Error while accepting connection (kafka.network.Acceptor)
 java.io.IOException: 打开的文件过多

lsof -p kafka-pid 看有上万个文件句柄

使用自写的删除topic工具，删除一部分历史topic后，重启kafka，问题解决。之后继续删除topic，文件句柄降到2000。

1.运维规范：kafka历史topic定时清理，可配置job

一只牛_007
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CDH平台kafka配置文件以及相关操作
07-07
CDH大数据平台kafka配置文件以及相关操作
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 7607
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
java.io.IOException: Too many open files-处理方法
qq_40910788的博客
06-24 3260
出现问题的原因： 1.可能是程序打开文件没有使用close()方法关闭打开的流，导致程序一直占用 2.可能是服务器允许每个用户打开文件的最大数量有限制（这种在文件使用关闭后，打开数量会降低） 针对第二种的处理方法： ps -ef|grep java 查看端口 lsof -p 端口 | wc -l 查看此端口打开的文件数量 ulimit -a 查看允许每个用户打开文件的最大数量 ulimit -n 4096 修改最大数量 ps:open files (-n) 1024这个参数就是系统默认允许用户打开文件最
记一次Kafka 故障Too many open files问题
weixin_41162023的博客
05-09 2104
查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。生效并重启，问题解决；20220906 13:01 十几次的kafka打开文件句柄数的值均在。左右，大多没超过4096，故猜测之前62天没有报错过原因于此。
Kafka运行一段时间报错Too many open files
weixin_34377919的博客
04-13 1521
　　　　　　　　　　　　　　　　Kafka运行一段时间报错Too many open files 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。 一.kafka运行一段时间报错 1>.我最近把kafka集群搭建在了 ubantu操作系统，发现运行一段时间日志报...
工作中遇到的几个Kafka问题整理
weixin_34018202的博客
10-26 1235
2019独角兽企业重金招聘Python工程师标准>>> ...
【Kafka】Kafka ArithmeticException: / by zer
九师兄
08-06 710
1.背景 [2020-08-06 18:49:52,782] ERROR Error while accepting connection (kafka.network.Acceptor) java.lang.ArithmeticException: / by zero at kafka.network.Acceptor.run(SocketServer.scala:354) at java.lang.Thread.run(Thread.java:748) [2020-08-06 18:49:52,7.
Kafka服务端源码剖析三 -- 启动用于处理请求连接的Processor线程
何星平的博客
04-30 165
在创建Acceptor对象的时候，我们初始化了一个processors数组，然后传入进了Acceptor的主构造方法，如下： endpoints.values.foreach { endpoint => val protocol = endpoint.protocolType //todo numProcessorThreads 网络线程的个数默认为3，至少是1 val processorEndIndex = processorBeginIndex +
Kafka系列之：Kafka Connect错误报告设置
zhengzaifeidelushang的博客
08-25 1131
Kafka系列之：Kafka Connect错误报告设置
【Kafka】kafka-2.13_2.7.0 集群的安装配置 与 最佳实践
Ezrealer的博客
04-16 979
OS page cache：应当可以缓存所有活跃的 Segment（Kafka 中最基本的数据存储单位）； fd 限制：100k+； 禁用 swap：内存达到临界值会走IO JVM JDK 8 并且使用 G1 垃圾收集器； 至少要分配 6-8 GB 的堆内存。 -Xmx8g -Xms8g -XX:MetaspaceSize=96m -XX:+UseG1GC-XX:MaxGCPauseMillis=20 -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegio
kafka大文件的代码
01-03
本文将详细解析如何在处理大文件时，优化Kafka的配置参数，确保高效、稳定地进行数据生产和消费。 首先，我们要了解Kafka的核心组件：生产者（Producer）和消费者（Consumer）。生产者负责将数据写入Kafka的主题...
Spring 集成 Kafka的配置文件及代码讲解
04-12
接下来，我们来配置Spring Boot的`application.yml`或`application.properties`文件以连接到Kafka集群。这里是一个示例配置： ```yaml spring: kafka: bootstrap-servers: localhost:9092 # Kafka服务器地址 ...
在kubernetes上运行apache kafka并打开shift
最新发布
03-01
这通常通过YAML文件完成，如`kafka-deployment.yaml`和`kafka-service.yaml`。 2. **设置持久卷（Persistent Volumes）**: Kafka的数据存储需要持久化，因此需要在Kubernetes中设置持久卷和持久卷声明，确保数据在...
kafka 配置文件
02-22
这里我们关注的焦点是 Kafka 的配置文件，包括 `server.properties`、`consumer.properties` 和 `producer.properties`，它们对于理解和优化 Kafka 集群的运行至关重要。 首先，我们来看 `server.properties` 文件...
Error:KafkaStorageException打开的文件过多
learnworm的专栏
08-04 1554
在Flink集群大数据处理过程中，向Kafka进行生产数据和消费数据；如果Flink处理过程中出现异常，采取相应的重启机制或设置检查点策略；项目启动后，随着设备接入越来越多，kafka的topic动态产生的也越来越多，kafka下server.log报出文件打开过多......
kafka请求全流程（二）—— 请求的接收以及分发
fenglei0415的博客
05-17 1565
承接上一篇(https://blog.csdn.net/fenglei0415/article/details/106162288) 二. 请求的接收以及分发 主要分析两个类，实现网络通信的关键部件。分别是Acceptor 类和Processor 类。 先介绍下SocketServer组件下的类： AbstractServerThread 类：这是 Acceptor 线程和 Processor 线程的抽象基类，定义了这两个线程的公有方法，如 shutdown（关闭线程）等。 Acceptor 线程
java.net.SocketException: Too many open files分析及解决办法
eason26_li的专栏
11-29 758
java.net.SocketException: Too many open files在错误影响到基础 TCP 协议时抛出 为什么发生此问题？ 这些异常指出操作系统 (OS) 资源问题和操作系统与 JVM 进程用完文件描述符的原因 在几个并发用户连接到服务器之后通常会发生此问题。Java 打开许多文件，以便读取运行应用程序所必需的类。大量应用程序会使用许多文件描述符，这...
报java.io.IOException: 打开的文件过多
JavaEE菜鸟
08-31 2118
java项目报java.io.IOException: 打开的文件过多
kafka创建主题时循环报错 java.net.ConnectException: 拒绝连接...【已解决】
杨大仙
11-18 2616
今天犯了一个很低级的错误，导致循环报错：拒绝连接。报错信息如下： java.net.ConnectException: 拒绝连接 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.apache.zookeeper.ClientC
如何捕获kafka报错信息
07-29
要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。 通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值