mysql获取连接超时问题排查优化

已于 2023-04-04 14:20:17 修改
阅读量4.1k 收藏 11
点赞数 2
分类专栏： 数据库 文章标签： mysql java
于 2022-11-07 11:15:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42947952/article/details/127727496
版权

mysql问题排查：

1.问题描述：

连接不可用，请求在30000ms后超时。

2.问题截图：


[2022-11-03 17:37:55.441] [ERROR] [] [pool-2-thread-1] org.hibernate.engine.jdbc.spi.SqlExceptionHelper:142 >> HikariPool-1 - Connection is not available, request timed out after 30000ms.
[2022-11-03 17:37:55.446] [ERROR] [] [pool-2-thread-1] com.hermes.service.impl.CffexService:81 >> asdasd
org.springframework.transaction.CannotCreateTransactionException: Could not open JPA EntityManager for transaction; nested exception is org.hibernate.exception.JDBCConnectionException: Unable to acquire JDBC Connection
        at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:447)
        at org.springframework.transaction.support.AbstractPlatformTransactionManager.getTransaction(AbstractPlatformTransactionManager.java:376)
        at org.springframework.transaction.interceptor.TransactionAspectSupport.createTransactionIfNecessary(TransactionAspectSupport.java:560)
        at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:347)
        at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:99)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.dao.support.PersistenceExceptionTranslationInterceptor.invoke(PersistenceExceptionTranslationInterceptor.java:139)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.data.jpa.repository.support.CrudMethodMetadataPostProcessor$CrudMethodMetadataPopulatingMethodInterceptor.invoke(CrudMethodMetadataPostProcessor.java:149)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:93)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:212)
        at com.sun.proxy.$Proxy169.updateSendData(Unknown Source)
        at com.hermes.service.impl.FileSendDetailCommonService.updateOrInsertFileSendDetailVO(FileSendDetailCommonService.java:2426)
        at com.hermes.service.impl.FileSendDetailCommonService.sendByShenZhenTong(FileSendDetailCommonService.java:2373)
        at com.hermes.service.impl.FileSendDetailCommonService.send(FileSendDetailCommonService.java:2094)
        at com.hermes.service.impl.FileSendDetailCommonService.sendByPriority(FileSendDetailCommonService.java:2043)
        at com.hermes.service.impl.FileSendDetailCommonService.fileSend(FileSendDetailCommonService.java:1251)
        at com.hermes.service.impl.FileSendDetailCommonService$$FastClassBySpringCGLIB$$95c314bb.invoke(<generated>)
        at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:353)
        at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:99)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.transaction.interceptor.TransactionAspectSupport.invokeWithinTransaction(TransactionAspectSupport.java:353)
        at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:99)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:93)
        at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
        at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
        at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:689)
        at com.hermes.service.impl.FileSendDetailCommonService$$EnhancerBySpringCGLIB$$a39d3b1a.fileSend(<generated>)
        at com.hermes.service.impl.CffexService.lambda$send$0(CffexService.java:79)
        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
        at java.util.concurrent.FutureTask.run(FutureTask.java:266)
        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
        at java.lang.Thread.run(Thread.java:748)
Caused by: org.hibernate.exception.JDBCConnectionException: Unable to acquire JDBC Connection
        at org.hibernate.exception.internal.SQLExceptionTypeDelegate.convert(SQLExceptionTypeDelegate.java:48)
        at org.hibernate.exception.internal.StandardSQLExceptionConverter.convert(StandardSQLExceptionConverter.java:42)
        at org.hibernate.engine.jdbc.spi.SqlExceptionHelper.convert(SqlExceptionHelper.java:113)
        at org.hibernate.engine.jdbc.spi.SqlExceptionHelper.convert(SqlExceptionHelper.java:99)
        at org.hibernate.resource.jdbc.internal.LogicalConnectionManagedImpl.acquireConnectionIfNeeded(LogicalConnectionManagedImpl.java:107)
        at org.hibernate.resource.jdbc.internal.LogicalConnectionManagedImpl.getPhysicalConnection(LogicalConnectionManagedImpl.java:134)
        at org.hibernate.resource.jdbc.internal.LogicalConnectionManagedImpl.getConnectionForTransactionManagement(LogicalConnectionManagedImpl.java:250)
        at org.hibernate.resource.jdbc.internal.LogicalConnectionManagedImpl.begin(LogicalConnectionManagedImpl.java:258)
        at org.hibernate.resource.transaction.backend.jdbc.internal.JdbcResourceLocalTransactionCoordinatorImpl$TransactionDriverControlImpl.begin(JdbcResourceLocalTransactionCoordinatorImpl.java:246)
        at org.hibernate.engine.transaction.internal.TransactionImpl.begin(TransactionImpl.java:83)
        at org.springframework.orm.jpa.vendor.HibernateJpaDialect.beginTransaction(HibernateJpaDialect.java:184)
        at org.springframework.orm.jpa.JpaTransactionManager.doBegin(JpaTransactionManager.java:402)
        ... 42 common frames omitted
Caused by: java.sql.SQLTransientConnectionException: HikariPool-1 - Connection is not available, request timed out after 30000ms.
        at com.zaxxer.hikari.pool.HikariPool.createTimeoutException(HikariPool.java:583)
        at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:186)
        at com.zaxxer.hikari.pool.HikariPool.getConnection(HikariPool.java:145)
        at com.zaxxer.hikari.HikariDataSource.getConnection(HikariDataSource.java:112)
        at org.hibernate.engine.jdbc.connections.internal.DatasourceConnectionProviderImpl.getConnection(DatasourceConnectionProviderImpl.java:122)
        at org.hibernate.internal.NonContextualJdbcConnectionAccess.obtainConnection(NonContextualJdbcConnectionAccess.java:38)
        at org.hibernate.resource.jdbc.internal.LogicalConnectionManagedImpl.acquireConnectionIfNeeded(LogicalConnectionManagedImpl.java:104)
        ... 49 common frames omitted

3.问题排查

3.1查询mysql的variables参数配置：

①**查询所有参数配置：**show GLOBAL VARIABLES;

在这里插入图片描述
②**查询所有连接用户：**show full PROCESSLIST;
在这里插入图片描述

③**查询最大连接数：**show variables like ‘%max_connections%’;
[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wsJbx9Ih-1667790412340)(C:\Users\Lenovo\AppData\Local\Temp\1667523762995.png)]

④ **实时的数据库现在的有效连接数：**show status like ‘%Threads_connected%’;
在这里插入图片描述

⑤**数据库新建的连接数: **show status like ‘%Threads_create%’;
在这里插入图片描述

3.2问题定位

​ 线上mysql配置的最大连接数是1024,实时查询数据库新建的连接数已经远远超过这个数目,并且查看了用户的进程,有些连接还是非常耗时的，导致MySQL连接数不能及时归还，导致连接数不够，从而从MySQL拿连接的时候，报错：连接不可用，请求在30000ms后超时。

​ 如果数据库使用的并不多，也就是业务并不繁忙，那么可能以上数值都够用的，如果高并发，大流量的情况，很显然，数据库会吃不消报警的。如何解决？更改数据库的设定，使得它可以打开更多的表，保持更多的连接即可。

3.3问题解决

方案一： 既然连接太多，减少连接 ，显然这不太合适。

方案二： 修改MySQL配置，扩大最大可连接数。

参考方案二,操作如下：

方法一：

进入MySQL用命令行修改，但是MySQL重启后就失效了，需要重新设置。（不推荐）

命令如下：

1、show variables like ‘max_connections’;（查看当前最大连接数）

2、set global max_connections=4096;（设置最大连接数为4096）

方法二：

修改MySQL配置文件，永久生效（推荐）

​ 1、查看数据库的安装路径 ：show global variables like ‘%basedir%’;

2、进入MySQL安装目录，打开my.ini或my.cnf文件；

​ 3、输入/max_connections，查询max_connections配置参数

4、查看max_connections=1000的配置参数，修改为max_connections=4096；如果没有这个参数，直接添加max_connections=4096即可；

​ 5、保存配置文件并退出，重启MySQL服务即可。

调整数据库配置文件-修改配置文件my.cnf：

cd /etc
sudo vi my.cnf

添加配置：
max_connections=4096
net_read_timeout=7200
net_write_timeout=7200

重启数据库实例
service mysqld restart

4.小结：

关于连接数设置：

​ 但是,这个连接数目的设置到底多大合适，需要考虑业务并发量最大的时候连接数能去到多少以及机器能承受多大的压力,保证操作压力是在MySQL承受范围之内的，这个需要进行适合的压测。

关于开发代码：

​ 开发代码中注意有没有特别耗时并需要拿连接的操作

​ 尽量不要在循环中连接数据库操作,更要避免循环中拿连接并耗时的操作，因为并发量大的时候,需要获取大量的连接,并且不能适时归还连接,导致数据库连接数不够。远程操作或者数据库操作都是比较耗网络、IO资源的，所以尽量不在循环里远程调用、不在循环里操作数据库，能批量一次性查回来尽量不要循环多次去查。（但是呢，如果是操作数据库，也不要一次性查太多数据哈，可以分批500一次酱紫）。

​ 一个大循环、大的list操作,建议分批,再去造作每个小批次数据。

// ①使用google guava 工具提供方法对List进行分割
		
		// 创建模拟list
        List<Integer> tempList = new ArrayList<>();
        for (int i = 1; i <= 20; i++) {
            tempList.add(i);
        }
        //按每5个一组分割
        List<List<Integer>> parts = Lists.partition(tempList, 5);
        // 对分批list的具体业务处理 process(list) - 打印代替
        System.out.println(parts);

// 使用google guava分割
[[1, 2, 3, 4, 5], [6, 7, 8, 9, 10], [11, 12, 13, 14, 15], [16, 17, 18, 19, 20]]


// 此方式需要在项目中引入guava的pom包依赖
		<dependency>
            <groupId>com.google.guava</groupId>
            <artifactId>guava</artifactId>
            <version>18.0</version>
        </dependency>

// ②使用apache 的 collection 工具提供方法实现lsit分批
		// 创建模拟list
        List<Integer> intList = Arrays.asList(1, 2, 3, 4, 5, 6, 7, 8, 9, 10);
        // 按5个每组进行分割
        List<List<Integer>> subs = ListUtils.partition(intList, 5);
        // 对分批list的具体业务处理 process(list) - 打印代替
        System.out.println(subs);

使用apache common collection 实现分批
[[1, 2, 3, 4, 5], [6, 7, 8, 9, 10]]
搬运工007
关注
专栏目录
MySQL连接超时问题解决方法
带你成为别人眼中的大佬！
10-06 1089
wait_timeout定义了非交互式连接的超时时间，而interactive_timeout定义了交互式连接的超时时间。连接超时是MySQL中常见的问题之一，但是通过调整超时设置、使用长连接、检查网络连接和优化查询性能，我们可以有效地解决这个问题。根据你的具体情况，选择适合的方法来解决连接超时问题，并确保你的应用程序与MySQL服务器之间的连接保持稳定和可靠。要解决连接超时问题，我们可以通过修改这些超时设置来延长连接的超时时间。通过优化查询性能，可以减少查询的执行时间，从而降低连接超时的风险。
MySQL 故障诊断：如何排查行锁超时？
六位元素
12-29 444
如何排查行锁超时问题的过程，介绍三种方法：一个是通过 MySQL 的 information_schema 来分析，一个是通过 general_log 来分析，一个是通过 performance_schema 来分析，这几种方法各有利弊，大家可以择优选择。说了这么多如何排查行锁超时，那么如果出现了行锁超时怎么办，该如何解决呢？
监控mysql连接超时_应用连接超时排查DB MySQL
weixin_39613385的博客
01-18 1051
【问题概述】10：26分，应用超时报错如下：[2020-04-2210:25:50,928][ERROR][DruidPooledStatement:357][DubboServerHandler-192.168.xx.xx:20881-thread-199]--[TID:668796908.406.15875214226879429]CommunicationsExcepti...
HikariPool-1 - Connection is not available, request timed out after 30005ms
最新发布
weixin_44315786的博客
09-20 611
Connection is not available, request timed out after 30005ms
mysql数据库连接过期_MySQL5数据库连接超时问题
weixin_39741459的博客
01-19 288
最近碰到一个mysql5数据库的问题。就是一个标准的servlet/tomcat网络应用，后台使用mysql数据库。问题是待机一晚上后，第二天早上第一次登录总是失败。察看日志发现如下错误：“com mysql jdbc exceptions jdbc4 CommunicationsException: Communications link failureLast packet sent to t...
MySql连接超时
sfhhanf的博客
07-21 8397
MySql连接超时处理方式
MySQL连接超时
IT牛奶
08-28 442
原文地址：http://www.mysqlperformanceblog.com/2011/04/19/mysql-connection-timeouts/  MySQL连接超时 在负载较重的MySQL服务器上，有时你偶尔会看到一些连接超时的错误，诸如: Can’t conn
MySQL数据库连接超时问题排查报告
itxuchuanlong的博客
08-20 1435
该报错在云端所有接口调用中都有出现，出现频率不定，有时频发有时偶发，并且具有两个特点发生超时错误后不进行任何操作，一段时间后会服务自动恢复正常发生超时错误后重启数据库或licloud-api服务，服务立即恢复正常发生超时错误时licloud-api所在主机与MySQL数据库主机之间网络连接正常发生超时错误时可以正常使用Navicat、DataGrip等GUI工具连接至MySQL数据库。
MySQL连接超时问题排查与解决：超时机制、原因分析和优化策略
[MySQL连接超时问题排查与解决：超时机制、原因分析和优化策略](https://img-blog.csdnimg.cn/direct/efde7e754c4940c58af07749725b9e62.png) # 1. MySQL连接超时概述** MySQL连接超时是指MySQL服务器与客户端之间...
深入分析MySQL连接超时问题：排查与优化策略
![mysql数据库连接不上]...MySQL连接超时问题是指客户端与MySQL数据库建立连接时，超过预设时间仍未成功建立连接的情况。这通常表现
Mysql半同步复制原理及问题排查
09-10
解决这类问题通常涉及检查网络连接、验证从服务器的健康状况、优化从服务器的性能，以及检查所有相关服务器的配置设置。在某些情况下，可能需要查看MySQL源码以深入理解内部工作原理，或者借助专业工具来辅助诊断和...
解决MySQL 5数据库连接超时问题
05-12
mysql5将其连接的等待时间(wait_timeout)缺省为8小时。怎么不让它超时呢
mysql连接超时的参数设置_mysql连接超时的参数设置_MySQL
weixin_30977485的博客
01-20 777
最近系统因为数据库连接超时的问题，出现了几次故障。排查了下my.cnf的配置问题，最后是代码设计有问题。正好就把所有的timeout参数都理一遍，首先数据库里查一下看有哪些超时：mysql> show global variables like "%timeout%";+-----------------------------+----------+| Variable_name ...
MySQL数据库连接超时问题的分析与解决
weixin_46246967的博客
07-13 156
MySQL数据库连接超时问题的分析与解决
Mysql连接超时问题的排查思路
m0_51771176的博客
02-02 251
3.1 设置"&autoReconnect=true&failOverReadOnly=false"3.2 sockerTimeout设置。2.@Transactional层级。3.mysql 连接设置中。
mysql 远程连接超时
weixin_41939501的博客
07-28 133
MySQL 远程连接超时问题解析 在使用 MySQL 数据库时，我们经常会遇到远程连接超时的问题。这可能是由于网络问题、服务器配置不当或者 MySQL 服务本身的问题。本文将详细解析 MySQL 远程连接超时的原因，并提供一些解决方案。 MySQL 远程连接超时原因 网络问题：网络不稳定或连接速度慢可能导致连接超时。 服...
MYSQL 连接超时问题
feiyang的专栏
04-13 2227
前不久维护了一个网站项目， 项目的后台设计是网站管理者进入网站后台连接，第一步就是创建数据库，只需按照提示输入：IP 地址（即在那个IP 地址的主机上创建数据库）、用户名、密码、端口号（即所在IP 地址的主机上安装的MYSQL 的用户名、密码和端口号）、数据库的名字这5项内容，然后就开始自动创建数据库，创建成功自动转到后台管理页面。（当然我们已经把数据库脚本文件事先放置到打包文件的一个地方，用户的
mysql连接超时的问题
善守者
04-19 176
使用Hibernate +MySQL数据库开发，链接超时问题： com.mysql.jdbc.CommunicationsException: The last packet successfully received from the server was58129 seconds ago.The last packet sent successfully to the server wa...
MySQL线上故障排查指南：从连接池到SQL优化
1. **应用获取不到连接池**：这可能是因为连接池已满或者超时，需要检查连接池配置，如最大连接数、超时时间，并优化数据库连接的使用和回收机制。 2. **数据库响应慢**：可能是由于查询效率低、索引不合理、数据量...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值