Kafka运行一段时间报错Too many open files

最新推荐文章于 2024-04-27 20:28:20 发布
VIP文章 最新推荐文章于 2024-04-27 20:28:20 发布
阅读量1.5k 收藏 2
点赞数
文章标签： 大数据 java
原文链接：http://www.cnblogs.com/yinzhengjie/p/10699750.html
版权

　　　　　　　　　　　　　　　　Kafka运行一段时间报错Too many open files 

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　作者：尹正杰

版权声明：原创作品，谢绝转载！否则将追究法律责任。

 

 

 

一.kafka运行一段时间报错

1>.我最近把kafka集群搭建在了 ubantu操作系统，发现运行一段时间日志报错信息如下： 

[email protected]:~# tail -100f /home/yinzhengjie/kafka/kafka-2019-04-03.log 
.........
[2019-04-03 00:03:07,416] INFO Rolled new log segment for 'data.batch.op-29' in 42 ms. (kafka.log.Log)
[2019-04-03 00:03:07,422] FATAL [ReplicaFetcherThread-4-117], Disk error while replicating data for data.batch.env-2 (kafka.server.ReplicaFetcherThread)
kafka.common.KafkaStorageException: I/O exception in append to log 'data.batch.env-2'
        at kafka.log.Log.append(Log.scala:362)
        at kafka.server.Re
最低0.47元/天 解锁文章
weixin_34377919
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
遇到问题----linux-----linux 打开文件数 too many open files 解决方法
直到世界的尽头
02-05 1万+
在运行某些命令或者 tomcat等服务器持续运行 一段时间后可能遇到   too many open files。出现这句提示的原因是程序打开的文件/socket连接数量超过系统设定值。查看每个用户最大允许打开文件数量ulimit -a其中 open files (-n) 8192 表示每个用户最大允许打开的文件数量是8192 。 默认是1024。1024很容易不够用。查看当前系统打开的文件数量l
Kafka设计解析（一）-Kafka背景及架构介绍
02-25
Kafka是由LinkedIn开发并开源的分布式消息系统，因其分布式及高吞吐率而被广泛使用，现已与ClouderaHadoop，ApacheStorm，ApacheSpark集成。本文介绍了Kafka的创建背景，设计目标，使用消息系统的优势以及目前流行的消息系统对比。并介绍了Kafka的架构，Producer消息路由，ConsumerGroup以及由其实现的不同消息分发方式，Topic&Partition，最后介绍了KafkaConsumer为何使用pull模式以及Kafka提供的三种deliveryguarantee。Kafka是一个消息系统，原本开发自LinkedIn，用作LinkedIn
kafka 运行一段时间报错Too many open files
weixin_45444133的博客
12-21 4746
kafka运行一段时间报错: 出现这种错误的解决方法： 1.修改操作系统中的环境变量 修改“/etc/security/limits.conf” vim /etc/security/limits.conf 末尾添加： * - nofile 1000000 * - nproc 1000000 2.启用"...
记一次Kafka 故障Too many open files问题
weixin_41162023的博客
05-09 1980
查看limit.conf文件，发现文件打开数设置的值也没问题，尝试增大值后，但就是提示Too many open files，报错就是文件打开数过多。问题：目前仍未查到是哪个配置文件使系统默认值为4096，以及为systemd何不走limit.conf值。由此联想到我们kafka是通过systemd进行管理的，走的是系统默认最大的文件打开数是4096。生效并重启，问题解决；20220906 13:01 十几次的kafka打开文件句柄数的值均在。左右，大多没超过4096，故猜测之前62天没有报错过原因于此。
go-jaeger-kafka-client:基于Golang的opentracing（或jaeger）kafka transport实现
03-21
go-jaeger-kafka-client:基于Golang的opentracing（或jaeger）kafka transport实现
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 7176
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
Kafka常用操作：创建，删除，生产，消费topic。Too many open file问题修复。修改偏移量，重新消费。
u010479989的博客
01-25 5308
Topic命令 创建topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test 192.168.6.57:9092,192.168.6.58:9092,192.168.6.59:9092 删除topic ./kafka-topics.sh –delete -zookeeper kafka-1:2181,kafka-2:2181,kafka-
kafka突然出现 /bootstrap: Failed to create socket: Too many open files
猫瑾的博客
05-28 1105
在给kafka程序做高并发压力测试时突然出现这个，找了下原因，发现是Linux的文件句柄问题。 在Linux中是有文件句柄（open files）限制的 一般来说Linux默认是1024，在高并发服务器还蛮容易达到这个量级。 稍微改一下句柄的数量就好了 命令：ulimit -a 执行：ulimit -n 数量 修改句柄 注：最大值为655350 llw@ubuntu:~/kafka$ ulimit -n 102400 llw@ubuntu:~/kafka$ ulimit -a 之后就不会出现
【原创】大叔问题定位分享（5）Kafka客户端报错SocketException: Too many open files 打开的文件过多...
weixin_30708329的博客
11-07 897
kafka0.8.1 一 问题 10月22号应用系统忽然报错： [2014/12/22 11:52:32.738]java.net.SocketException: 打开的文件过多 [2014/12/22 11:52:32.738] at java.net.Socket.createImpl(Socket.java:447) [2014/12/22 11:52:32.73...
指定时间段消费Kafka工具
12-10
使用环境:Jdk 1.8 使用场景：生产环境海量数据，用kafka-console-consumer 消费kafka某时间段消息用于分析问题，生产环境海量数据，用kafka-console-consumer.sh只能消费全量，文件巨大，无法grep。 代码来源于博主：BillowX_ ，感谢分享 原贴地址：https://blog.csdn.net/weixin_35852328/article/details/105511784 使用方法见压缩包内；或者直接执行，参数不全时会打印使用方法。
KafkaStream之时间窗口WindowBy详解
02-24
KafkaStream之时间窗口WindowBy的详细解释和例子接收，阐述grace方法和suppress方法 的妙用，还有自定义TimeStampExtractor的详细示例
工作中遇到的几个Kafka问题整理
weixin_34018202的博客
10-26 1220
2019独角兽企业重金招聘Python工程师标准>>> ...
kafka报错打开文件数过多导致kafka关闭
yizhiniu_xuyw的专栏
09-30 4016
监控到业务异常，kafka异常 查看kafka日志，发现大量错误日志： ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: 打开的文件过多 lsof -p kafka-pid 看有上万个文件句柄 使用自写的删除topic工具，删除一部分历史topic后，重启kafka，问题解决。之后继续删除topic，文件句柄降到2000。 1.运维规范：kafka历史topic定时清理，可配
Error:KafkaStorageException打开的文件过多
learnworm的专栏
08-04 1490
在Flink集群大数据处理过程中，向Kafka进行生产数据和消费数据；如果Flink处理过程中出现异常，采取相应的重启机制或设置检查点策略；项目启动后，随着设备接入越来越多，kafka的topic动态产生的也越来越多，kafka下server.log报出文件打开过多......
too many open files(打开的文件过多)解决方法
热门推荐
Roy_70的专栏
11-02 13万+
一、产生原因too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如socket)，正在监听的端口等等，所以有时候也可以叫做句柄(handle)，这个错误通常也可以叫做句柄数超出系统限制。 引起的原因就是进程在某个时刻打开了超过系统限制的文件数量以及通讯链接数，通
Spark streaming + kafka 运行时报 Too many open files错误的解决方法
[email protected]
07-12 2135
什么改limits.conf这些方法我都试过，不管用，错误照常出现，需要修改的是kafka的一个参数叫做num.replica.fetchers，默认为1，改为2或者3就可以了。
低级错误 too many open file
weixin_45230582的博客
12-20 160
出现这个错误一个原因是打开文件过多或者是打开socket过多，网上有解决办法。 还有一种可能是因为程序出错，我的错误是kafka生产者程序中用Springboot 一直在new kafkaTemplate（），也就是一直在和kafka产生新的连接导致错误。 ...
云计算知识点-02
最新发布
lv785的博客
04-27 1222
DataNode是HDFS文件系统的工作节点，DataNode会按照客户端或者是NameNode的调度来存储和检索数据，并定期向NameNode发送它所存储的数据块列表，DataNode是文件系统中真正存储数据的地方。通过这种虚拟化可以减少服务器的数量，提高服务器的使用效率，可以在一定程度上摆脱物理上的空间限制，实现随时随地随需的自由掌控。Glance(镜像服务组件)，其作用是：提供虚拟机镜像的存储，查询和检索功能，为nova进行服务，依赖于存储服务（存储镜像本身）和数据库服务（存储镜像相关的数据）。
java 代码统计kafka topic一段时间的数据量
06-07
您可以使用Kafka提供的Java API来实现统计某个topic在一段时间内的数据量。 以下是实现的步骤： 1. 创建KafkaConsumer对象并指定要订阅的topic。 ```java Properties props = new Properties(); props.put(...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值