【原创】记一次线上Tomcat故障排查-struts2 “bug”导致tomcat阻塞

最新推荐文章于 2022-05-21 03:19:08 发布
VIP文章 最新推荐文章于 2022-05-21 03:19:08 发布
阅读量8.4k 收藏 1
点赞数
分类专栏： Java 文章标签： struts2 tomcat 线程安全 服务器 hashmap
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lePdou/article/details/46404463
版权
现象

     15年5月25日下午6：30分，我们的QA收到我们的一个线上项目页面一定概率会出现ERROR页面。

当时问题分析及处理方案

     此页面是nginx的error页面，并不是我们业务的500页面。通过每台机器ip直接访问，发现 其中有一台机器挂了。马上联系运维同学，重启tomcat后正常。

事后问题排查

1.查看业务log4j 日志


最低0.47元/天 解锁文章
爱打游戏的小丑
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[OOM] 记一次线上OOM的问题 - ado19861
08-03
现象：Tomcat日志分析问题过程中的想法和方法是最有价值的经验Eclipse的MAT工具举一反三释放资源放在finally块中。
tomcat499、502、503异常处理办法
m0_37798361的博客
09-11 1264
awk ‘if{(($9499)||($9502)||($9==503)) print $1,$9}’ /data/logs/linux_web/access.log|sort |uniq -c |sort -nr|awk '{if ($1>=100) print KaTeX parse error: Expected 'EOF', got '}' at position 2: 2}̲' &...
Nginx 499 报错，tomcat大量超时
weixin_34050389的博客
07-24 560
今天web大量超时报错，查看日志显示，tomcat链接RPC服务timeout，查看tomcat机器和RPC服务所在机器资源都正常。尝试重启RPC服务后，web仍然报错，查看nginx日志，有大量499报错。经查询得知，nginx的499报错解释如下：『 499 / ClientClosed Request An Nginx HTTP server extension....
Tomcat中常见线程说明
yuer629
08-26 1990
本文讲述了Tomcat的常见线程的功能、名称、线程池和配置等信息，其中源码来自于Tomcat 6.0.18。 Work线程 功能 HTTP请求的处理线程(非NIO)。当有新的http请求进来后，则会从线程池中获得一个线程Work对象，调用Work.assign函数，将新到的http请求分配给这个线程。 名称 名称是http-[IpAddr]-[Port]-[Number]，如...
JVM菜鸟进阶高手之路七（tomcat调优以及tomcat7、8性能对比）
最简单的东西，往往包含了最复杂的实现。
08-14 2万+
因为每个链路都会对其性能造成影响，应该是全链路的修改压测（ak大神经常说全连路）。本次基本就是局域网，所以并没有怎么优化，其实也应该考虑进去的。 Linux系统参数层面的修改： 1、修改可打开文件数和用户最多可开发进程数 命令：ulimit -n 655350       ulimit –u 655350 可以通过ulimit –a查看参数设置，不设置时默认为1024，默认情况下，你
记一次tomcat进程cpu占用过高的问题排查记录
01-20
本文主要记录一次tomcat进程，因TCP连接过多导致CPU占用过高的问题排查记录。 问题描述 linux系统下，一个tomcat web服务的cpu占用率非常高，top显示结果超过200%。请求无法响应。反复重启依然同一个现象。 问题...
tomcat-redis-session-manager-1.2-tomcat-7-java-7
05-07
tomcat-redis-session-manager-1.2-tomcat-7-java-7tomcat-redis-session-manager-1.2-tomcat-7-java-7tomcat-redis-session-manager-1.2-tomcat-7-java-7tomcat-redis-session-manager-1.2-tomcat-7-java-7tomcat-...
tomcat-redis-session-manager
06-06
tomcat redis session共享，支持tomcat7 jdk7、tomcat8 jdk7、tomcat8 jdk8、tomcat8.5 jdk7、tomcat9 jdk8
关于nginx报499的问题排查分析
张小洛的BOLG
07-27 2832
关于nginx报499的问题排查分析499 错误（官方解释：）分析缘由nginx方分析tomcat方分析结论 499 错误（官方解释：） ngx_string(ngx_http_error_495_page), /* 495, https certificate error*/ ngx_string(ngx_http_error_496_page), /* 496, https no certificate */ ngx_string(ngx_http_error_497_page), /* 497, ht
Tomcat端口配置（详细）
逆境清醒的博客
05-21 3万+
发生端口冲突时，一般都是tomcat的8080端口，但tomcat除8080端口外，还会占用8005，8009和8443端口。8080端口，Tomcat默认端口，如果端口被占用，tomcat启动时就会崩溃。8005端口，这个端口负责监听关闭tomcat的请求。8009端口，负责和其他的HTTP服务器建立连接。。8443端口是tomcat打开SSL的文本服务的默认端口，配置端口最大连接数，配置多个端口号或多个应用，计算机常用端口...............
线上tomcat服务器假死排查
T恤太小
10-17 1万+
     之前线上的Tomcat运行一段时间就会假死，导致用户访问页面打不开，这里记录一下解决问题的步骤；由于此项目是老项目，所以并不是很清楚里面的技术实现细节；打开服务器日志也没发现什么异常；     怀疑是最近业务量上来了，导致db扛不住，查看阿里云rds云监控，发现mysql所有指标一切正常。     按照以往经验，猜想跟web服务器有关，查看tomcat监听端口占用情况，一看吓一跳，大量的...
nginx大量499分析
gxl0805的专栏
10-12 1万+
源于一个客户端同事说，客户端突然发现有大量的超时请求，让我们查一下，下面是检查情况： nginxaccess.log中发现大量的499状态码，从网上查找资料分析有两种可能： 1.客户端主动断开连接 2.服务端响应超时造成客户端连接中断 上面两种可能归根接地还是一种情况，客户端主动断开了连接，至于是服务端响应超时还是客户端连接等其他原因有待检查 首先检查服务端日志，没有发现有响应超时的现象
Tomcat 网站配置和HTTP四种方法测试
zzidea的专栏
03-19 2769
一、tomcat的基本结构 1. conf/server.xml结构     2. 网站目录结构           二、测试网站配置
java 如何 检测目标服务器无响应_深入分析Tomcat无响应问题及解决方法
weixin_39684052的博客
02-16 391
问题描述生产环境下有几台tomcat,但突然某个时候发现所有的请求都不能响应了,由于我们的web server使用的是nginx,会将请求反向到tomcat上,所以起初怀疑是nginx就没有收到请求,但查看日志后发现,nginx中大量出现499的返回,这说明问题还是出在tomcat上.问题排查首先我想到的是不是CPU跑满了,虽说CPU没有报警但还是本能的top命令看下系统负载,发现系统只有0.x的...
tomcat能正常启动,但是http://localhost:8080/网页就是打不开，报404
Switfy的博客
09-17 5097
tomcat能正常启动,但是http://localhost:8080/网页就是打不开，报404， 今天我遇到了这个问题，上网搜了一下，什么改端口号，端口号占用了，看Server.xml，尽TM扯淡，根本不管事好不。 一、把你的项目从Tomcat删掉 二、右键点击你选中的Tomcat,选择Open三、会弹出下面的页面，默认选中的是第一个Use workspase metadata(d
高并发下web服务器http异常状态码499/502/504分析
热门推荐
xffan4318的博客
03-01 5万+
环境说明压测工具：apache/abweb服务器：NGINX/1.8.0 + PHP 5.6.25php脚本：get.php注：nignx 设置超时fastcgi_connect_timeout 60 fastcgi_send_timeout 60 fastcgi_read_timeout 60php-fpm 设置超时request_terminate_timeout 10压测开始1.get.ph...
Tomcat的安装配置与使用，及常用端口大全
eyes++的博客
09-07 1万+
如果有兴趣了解更多相关知识，可以来我的个人博客看看：eyes++的个人空间 零：Tomcat的介绍 Tomcat是Apache 软件基金会的Jakarta 项目中的一个核心项目，由Apache、Sun 和其他一些公司及个人共同开发而成。由于有了Sun 的参与和支持，最新的Servlet 和JSP 规范总是能在Tomcat 中得到体现，Tomcat 5支持最新的Servlet 2.4 和JSP 2.0 规范。因为Tomcat 技术先进、性能稳定，而且免费，因而深受Java 爱好者的喜爱并得到了部分软件开发商的
记一次线上tomcat worker线程在一个流量高峰后居高不下的问题及排查解决过程
最新发布
12-07
在一个流量高峰期间，我们的网站开始出现了性能问题，特别是Tomcat的worker线程居高不下。这个问题对我们的系统稳定性和用户体验产生了严重影响，因此我们立即进行了排查和解决。 首先，我们使用工具监控了Tomcat的worker线程数，发现在高峰期间线程数增长过快，并且没有下降的趋势。接下来，我们对服务器进行了资源监控，发现CPU和内存的使用率都没有超过正常范围。这表明问题不是由于服务器资源不足导致的。 然后，我们查看了Tomcat的日志文件，发现一些异常错误信息与数据库连接相关。我们怀疑是数据库连接池的问题，因此我们进一步检查了数据库的连接数和连接池的配置。经过对比分析，我们发现数据库连接池的最大连接数被设置得过小，导致在高流量时无法满足请求的需求。我们立即调整了连接池的配置，增加了最大连接数，以应对高峰期的负载。 随后，我们重启了Tomcat，并观察了一段时间。我们发现线程数在高峰期开始时仍然有所增长，但是随着时间的推移开始逐渐下降，最终稳定在一个正常的范围内。这表明我们的排查和解决措施是有效的。 为了进一步确保问题的解决，我们还增加了日志监控和报警机制，以便更及时地发现和解决类似问题。 通过这次经历，我们学到了对于高并发流量情况下的线上问题，需要全面考虑不同组件的性能和配置，并对各个环节进行监控和调整。同时，日志分析和排查是至关重要的工作，能够帮助我们准确定位问题并采取合适的解决措施，最终提升系统的稳定性和性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值