tomcat 宕机问题分析及解决

服务器环境:centos6.7 + tomcat7.0.69 + jdk1.7.0_55 + mysql5.6.28

场景:服务刚开始用户体验变差,请求时间长,之后出现404,500等与服务器交互失败问题。重启后用户体验回升,半小时内问题没有再现。

日志中出现的问题有两个

                  1、Cause: org.springframework.jdbc.CannotGetJdbcConnectionException: Could not get JDBC Connection; nested exception is org.apache.tomcat.dbcp.dbcp.SQLNestedException: Cannot get a connection, pool error Timeout waiting for idle object

                   2、Mar 06, 2017 10:59:53 AM org.apache.tomcat.util.net.JIoEndpoint$Acceptor run
                                   SEVERE: Socket accept failed
                               java.net.SocketException: Too many open files

解决方案

                   1、更改centos的单个文件最大句柄数为最大的65535,tomcat宕机的直接原因是 第二个问题 Too many open files

                   2、更改线程池的配置增加如下参数:

  1. maxWait="3000" 从池中取连接的最大等待时间,单位ms.  
  2. initialSize="10"  初始化连接  
  3. minIdle="10"   最小空闲连接 
  4. maxIdle="150"   最大空闲连接 
  5. maxActive="200" 最大活动连接  
  6.    
  7. validationQuery = "SELECT 1"  验证使用的SQL语句  
  8. testWhileIdle = "true"      指明连接是否被空闲连接回收器(如果有)进行检验.如果检测失败,则连接将被从池中去除.  
  9. testOnBorrow = "false"   借出连接时不要测试,否则很影响性能  
  10. timeBetweenEvictionRunsMillis = "30000"  每30秒运行一次空闲连接回收器  
  11. minEvictableIdleTimeMillis = "1800000"  池中的连接空闲30分钟后被回收  
  12. numTestsPerEvictionRun="10" 在每次空闲连接回收器线程(如果有)运行时检查的连接数量  
  13.       
  14. removeAbandoned="true"  连接泄漏回收参数,当可用连接数少于3个时才执行  
  15. removeAbandonedTimeout="180"  连接泄漏回收参数,180秒,泄露的连接可以被删除的超时值  

问题原因

                    1、网络延迟增加;

                    2、tomcat的dbcp线程池设置偏小,当请求突发的时候出现线程池报错;

                    3、同时,由于对服务的请求及服务向数据库发起的服务的增加,在突发情况中击穿数据库限制超出最大句柄数

                    4、导致进程挂死。


原因分析过程

            一、分析服务的系统日志,获取报错种类及第一次发生的时间节点

            二、分析服务的系统日志,查获所有数据库访问请求的执行时间点,服务的请求时间;

            三、统计每一秒内的数据库请求总数量,各个请求的总数量,各个请求失败总数量

            四、分析数据库日志,获取处理时间长及失败的SQL语句的执行时间及处理时长

            五、对比三和四步骤的结果初略的判断是否存在网络问题

其中频繁使用的小技巧:

             1、notepad++的正则查找:

                          a、搜索的设置如下图:

                                            

                          b、使用正则查找行中有10.6.6.5或Query_time或order by c.isTop DESC 三个字段的行

                                          ^.*10\.6\.6\.5.*$|^.*Query\_time.*$|^.*order by  c\.isTop DESC\, c\.id asc.*$

               2、excel中的vlookup公式,筛选、分列、多列排序、分类汇总、Ctrl+G>定点条件>可见单元格、插入图表


展开阅读全文

没有更多推荐了,返回首页