Tomcat服务故障排查：打开文件过多

最新推荐文章于 2024-08-16 16:33:44 发布
最新推荐文章于 2024-08-16 16:33:44 发布
阅读量7.8k 收藏 1
点赞数
分类专栏： 故障排查
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/define_us/article/details/84950934
版权

现象

lsof -p 进程号后出现一堆sock类型的文件。超过了ulimit的限定值。导致一些请求处理失败。


java    26851 jboss5 *165u     sock                0,7        0t0 207976628 protocol: TCPv6
java    26851 jboss5 *166u     sock                0,7        0t0 207967655 protocol: TCPv6
java    26851 jboss5 *167u     sock                0,7        0t0 207965389 protocol: TCPv6
java    26851 jboss5 *168u     sock                0,7        0t0 207969159 protocol: TCPv6
java    26851 jboss5 *169u     sock                0,7        0t0 207965391 protocol: TCPv6
java    26851 jboss5 *170u     sock                0,7        0t0 207965476 protocol: TCPv6
java    26851 jboss5 *171u     sock                0,7        0t0 207967667 protocol: TCPv6
java    26851 jboss5 *172u     sock                0,7        0t0 207967668 protocol: TCPv6

排查

问题的核心是，是什么导致了这么多sock文件？查询这个sock文件的两端。发现都是JAVA内部的线程在进行通信。

java      26851           jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12730     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12731     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12733     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12737     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12738     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12739     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12740     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12741     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12742     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12743     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12744     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12745     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12746     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12747     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12750     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12751     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12752     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12754     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12757     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12759     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12762     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12763     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 12765     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19760     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19764     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19765     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19766     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19770     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19771     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19772     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19773     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19774     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19775     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19776     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19777     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19778     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19779     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19781     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19784     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19785     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19786     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19787     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19788     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19791     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19792     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19794     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19796     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19797     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19798     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19799     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19802     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19804     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19805     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19808     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19811     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19813     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19814     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19816     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19819     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19884     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19885     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19890     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19891     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 19894     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26852     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26853     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26854     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26855     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26856     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26857     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26858     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26859     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26860     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26861     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26862     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26863     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26864     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26865     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26866     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26867     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26871     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26872     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26873     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26875     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26876     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26877     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26882     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26883     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26884     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26885     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26886     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26887     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26888     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26889     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26890     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26891     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26892     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26895     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26896     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26897     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26898     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26900     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26903     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26904     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26906     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26907     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26908     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26909     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26912     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26913     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26914     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26915     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 26997     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 27226     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 27227     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 30342     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 30343     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 30345     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 32050     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 32051     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 32056     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6
java      26851 32057     jboss5 *470u     sock                0,7        0t0 208006882 protocol: TCPv6

看样子是用于内部通信的。共计123个线程使用了该sock。查看java里的所有线程数目，恰巧也是123个。这意味着所有线程都会使用该sock吗？其实并不是。因为所有线程会共享其所有的资源。
另外，我们检查了该进程一共拥有4419个网络连接。其中绝大部分都是和redis连接相关。这个会是根源吗？
毫无头绪，只能重启以下。先解决问题。重启后打开文件数目降到了只有4百多个。持有对redis的网络连接是2200个。我们的redis正好是22个节点。持有的sock文件减少到了2个。决定跟踪这个数字，来检查究竟是什么导致了这个问题。

define_us
关注
专栏目录
Tomcat启动时报打开的文件过多（Too many open files）
你闻讯而来 我大喜过望
01-04 1万+
现在是北京时间20：30，本来5点就可以下班的，正常情况是4点下班。一直在修改紧急BUG。在最终要完成终于可以松一口气的时候，发布程序Tomcat突然抛了一个打开的文件过多，由于经验浅薄，顿时就懵逼了。在解决问题后，决定写下这篇博客，记录解决问题的经过。 日志如下： 2017-01-04 19:50:16.386 DEBUG [] [] org.apache.ibatis.loggin
tomcat 服务器抛出socket异常“文件打开太多”的问题（转）
wangqianjiao的专栏
01-07 4628
转自：http://www.blogjava.net/tufanshu/archive/2006/07/31/60981.html 最近，运行的tomcat服务器在正常运行将近2个月后，抛出如下错误： 警告: Reinitializing ServerSocket 2006-7-28 15:07:40 org.apache.tomcat.util.net.PoolTcpEndpoin
简单的IPv6 UDP/TCP socket编程 -- 两台Linux实现简单的ipv6通信
热门推荐
forsakening的专栏
11-03 1万+
1.两台linux用网线直接相连 2.分别配置两台linux的ipv6地址为： ifconfig eth0 add 2001:da8:e000::1:1:1 ifconfig eth0 add 2001:da8:e000::1:1:2 如下所示： [root@EmbedSky /]# ifconfig eth0      Link encap:Ethernet  HWaddr 10
TCPIP/IPV6
最新发布
weixin_42242810的博客
08-16 400
IPv6（Internet Protocol version 6）是互联网协议的第六版，旨在取代IPv4，以解决IPv4地址耗尽的问题。- IPv6支持无状态地址自动配置（SLAAC），设备可以自动配置IPv6地址，简化了网络管理。- IPv6支持扩展头部，允许在基本头部之后添加可选的扩展头部，提供更灵活的数据包处理能力。- IPv6头部相比IPv4更加简化，减少了路由器处理每个数据包的开销，提高了传输效率。- 在IPv4和IPv6网络之间进行地址和协议的翻译，例如NAT64和DNS64。
Linux 网络系统学习: IPv6 的初始化
04-10 2878
Linux 网络系统学习IPv6 的初始化作者： 小马哥 rstevens  (rstevens2008@hotmail.com)欢迎转载，未经允许，请勿用于商业目的 1.   网络子系统1.1.                    网络子系统概述 Linux 内核中，与网络相关的代码是一个相对独立的子系统，称为网络子系统。网络子系统是一个层次化的结构，可
TCP/IPv6
frankluwei的专栏
02-28 4333
<br />　　20世纪90年代初，IETF就开始探讨下一代网络协议，提出过多个替代IPv4的协议，最终IPv6协议得到广泛的认 同，被IETF选为下一代互联网络协议。<br />　　IPv6是“Internet Protocol Version 6”的缩写，也被称作下一代互联网协议。IPv6是为了解决IPv4所存在的 一些问题和不足而提出的，同时它还在许多方面做了改进，例如路由方面和自动配置方面。经过一个较长的IPv4 和IPv6共存的时期，IPv6最终会完全取代IPv4，并在互联网上占据统治地位。对比I
Linux下打开的文件过多错误
05-08
Linux下运行tomcat或者was出现java.net.SocketException: 打开的文件过多错误 tomcat报“too many open files”的错误，解决办法如下：
tomcat9.0.13BUG打开文件数过多
qq_27576109的博客
04-01 1668
问题描述 centos7测试环境部署项目后，没过两天就出现如下图的错误信息导致系统崩溃。大致原因是tomcat打开文件数过多。 解决思路 一开始就用修改linux文件句柄数量限制 输入命令ulimit -a查看配置情况。 最初 open files的 值为 2048，使用 命令 ulimit -n把值设置大点 #ulimit -n 4096 结果不出几天还是会出现同样的错误信息，最后使用 l...
【Linux】解决tomcat出现Too many open files（打开的文件过多）问题
wjx_jasin的博客
06-12 1万+
当用linux做高并发服务器时，会遇到"Too many open files"的错误。Linux是有文件句柄限制的（open files），而且Linux默认不是很高，一般都是1024，做高并发生产服务器用其实很容易就达到这个数量。在linux中执行ulimit -a 即可查询linux相关的参数，如下所示：[plain] view plain copyulimit -a  core file ...
Tomcat9.0.13 Bug引发的java.io.IOException:(打开的文件过多 Too many open files)导致服务假死...
weixin_30752699的博客
12-24 801
问题背景： 笔者所在的项目组最近把生产环境Tomcat迁移到Linux，算是顺利运行了一段时间，最近一个低概率密度的（too many open files)问题导致服务假死并停止响应客户端客户端请求。 进入服务器查看日志，发现tomcat凌晨6-7点的日志丢失，查看进程端口仍旧开放。 root@# lsof -i:8080 COMMAND PID USER FD TYPE...
【故障排查】tomcat session堆积导致内存占满频繁Full GC
luxiaoqiba的博客
03-30 4050
一、故障发生 从一周前开始陆续接到线上用户反馈说接口访问偶发延时过大，频率大概是10%，延时8s左右。通过查看日志发现，有时上游服务发出请求后七八秒钟后本服务才收到请求，有时是本服务发出请求后七八秒钟后下游服务才收到请求，加之本服务已经在线上4个月没修改过代码没重启了，猜测可能是网络原因。找运维看了好几天也没发现大问题。 二、问题排查 1. 发现线索 偶然翻看线上gc日志，发现隔几分钟就会...
tomcat 外网部署按天切分保存日志配置文件
12-14
本文将详细讲解如何在外网部署Tomcat时，配置按天切分保存日志，以优化存储管理和提升故障排查效率。 首先，我们要了解Tomcat的日志主要由`catalina.out`生成，这是一个默认的日志文件，包含了Tomcat启动和运行过程...
JAVA 线上故障排查完整套路
myy1066883508的博客
05-25 725
线上故障主要会包括 CPU、磁盘、内存以及网络问题，而大多数故障可能会包含不止一个层面的问题，所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的，基本上出问题就是 df、free、top 三连，然后依次 jstack、jmap 伺候，具体问题具体分析即可。 CPU 一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导致的
记一次tomcat报错Too many open files的排查历程
zxx的专栏
01-09 7026
本文的技术细节并不具通用性，但是排查的思路过程值得自己mark下，上次遇到这样的刺激线上故障已经是去年3月了～～～这次排查花了3个小时，还算快啦，也算最近的一个小彩蛋。 昨天在公司coding，测试组的同事突然来找我，告知预发环境的系统挂了，请求都是异常，打开业务日志和tomcat的日志排查，满屏的Too many open files，果然 lsof -p pid 预发机器，已经打满到了655...
JAVA 线上故障排查完整套路，【Java面试题
m0_63174529的博客
11-14 817
频繁 gc 当然我们还是会使用 jstack 来分析问题，但有时候我们可以先确定下 gc 是不是太频繁，使用jstat -gc pid 1000命令来对 gc 分代变化情况进行观察，1000 表示采样间隔(ms)，S0C/S1C、S0U/S1U、EC/EU、OC/OU、MC/MU 分别代表两个 Survivor 区、Eden 区、老年代、元数据区的容量和使用量。YGC/YGT、FGC/FGCT、GCT 则代表 YoungGc、FullGc 的耗时和次数以及总耗时。如果看到 gc 比较频繁，再针对 gc 方.
tomcat环境下服务器文件句柄耗尽（Too Many Open Files）的问题排查
sundful的专栏
04-25 389
前段时间帮助公司解决了一次tomcat环境服务器的异常，今天有时间过来总结一下。   问题的表现： tomcat服务在重启之后，短时间内会承受大量访问，由于这个时候缓存还没建立，每次访问都将消耗一定资源（数据库连接或者文件IO），并发量在2000左右的时候tomcat服务开始抛出大量Too Many Open Files的异常，主要是文件IO一块的异常，数据库连接池配置恰当就不会抛异常...
Tomcat Too many open files
toweryangtao的专栏
01-25 554
早上到公司刚坐下就听运维同事讲服务器计费出问题了，打开tomcat日志一看报Too many open files ，Linux系统默认打开文件数是1024，而实际的生产环境中，这个值总是显得太小，尤其是对于一些并发较大的系统，而太小的后果就是你的系统会报：too many open files 等这样的错误导致你系统。使用ulimit -u 查看open files设置，发现之前同事已经改到足
在Linux中打开了太多文件（Too many open files）的解决方法
行动，立刻行动
12-31 1418
tomcat报“too many open files”的错误，解决办法如下： 报此错误是由于系统内核对进程打开文件个数的限制，默认为1024 [root@localhost ~]# ulimit -n 1024 修改参数，增大这个限制： #vi /etc/security/limits.conf 增加下面这一行内容： * ...
tomcat 报 java.net.SocketException: Too many open files
iteye_16421的博客
09-15 88
这个问题就是请求太多，服务器响应不过来了， 可以修改以下几个参数： 1.conf/server.xml文件中，将maxThread调大一点。 2. 如果是linux系统，修改打开文件限制，命令ulimit -n 32768， ...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值