mysql连接未释放,导致无法进行DB操作(长连接及短连接)

最新推荐文章于 2021-01-30 22:09:16 发布
最新推荐文章于 2021-01-30 22:09:16 发布
阅读量1.8k 收藏 4
点赞数 1
分类专栏： mysql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liao0801_123/article/details/82690863
版权

相关连接: show processlist 分析:http://blog.chinaunix.net/uid-134240-id-220211.html

长连接相关:https://www.cnblogs.com/wangtao_20/p/4783524.html

项目运行时抛出异常:

org.hibernate.exception.GenericJDBCException: Could not open connection
	at org.hibernate.exception.internal.StandardSQLExceptionConverter.convert(StandardSQLExceptionConverter.java:54)
	at org.hibernate.engine.jdbc.spi.SqlExceptionHelper.convert(SqlExceptionHelper.java:125)
	at org.hibernate.engine.jdbc.spi.SqlExceptionHelper.convert(SqlExceptionHelper.java:110)
	at org.hibernate.engine.jdbc.internal.LogicalConnectionImpl.obtainConnection(LogicalConnectionImpl.java:221)
	at org.hibernate.engine.jdbc.internal.LogicalConnectionImpl.getConnection(LogicalConnectionImpl.java:157)
	at org.hibernate.engine.transaction.internal.jdbc.JdbcTransaction.doBegin(JdbcTransaction.java:67)
	at org.hibernate.engine.transaction.spi.AbstractTransactionImpl.begin(AbstractTransactionImpl.java:160)
	at org.hibernate.internal.SessionImpl.beginTransaction(SessionImpl.java:1425)
	at com.sf.iec.common.dao.BaseDao.saveOrUpdateByBatch(BaseDao.java:268)
	at com.sf.iec.operationbusiness.manifest.dao.impl.ManifestDaoImpl.insetPostManifestFailLog(ManifestDaoImpl.java:2284)
	at com.sf.iec.operationbusiness.manifest.service.impl.ManifestServiceImpl.pushAcpInfo(ManifestServiceImpl.java:4763)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:39)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:25)
	at java.lang.reflect.Method.invoke(Method.java:597)
	at org.springframework.aop.support.AopUtils.invokeJoinpointUsingReflection(AopUtils.java:317)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.invokeJoinpoint(ReflectiveMethodInvocation.java:183)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:150)
	at org.springframework.transaction.interceptor.TransactionInterceptor.invoke(TransactionInterceptor.java:110)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
	at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:90)
	at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:172)
	at org.springframework.aop.framework.JdkDynamicAopProxy.invoke(JdkDynamicAopProxy.java:204)
	at com.sun.proxy.$Proxy152.pushAcpInfo(Unknown Source)
	at com.sf.iec.common.thread.AcpInfoPushRunnable$1.handler(AcpInfoPushRunnable.java:40)
	at com.sf.iec.common.util.BatchHandlerList.handlerList(BatchHandlerList.java:44)
	at com.sf.iec.common.thread.AcpInfoPushRunnable.run(AcpInfoPushRunnable.java:47)
	at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:895)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:918)
	at java.lang.Thread.run(Thread.java:662)
Caused by: java.sql.SQLException: Couldn't get connection because we are at maximum connection count (100/100) and there are none available
	at org.logicalcobwebs.proxool.Prototyper.quickRefuse(Prototyper.java:309)
	at org.logicalcobwebs.proxool.ConnectionPool.getConnection(ConnectionPool.java:152)
	at org.logicalcobwebs.proxool.ProxoolDataSource.getConnection(ProxoolDataSource.java:97)
	at org.hibernate.service.jdbc.connections.internal.DatasourceConnectionProviderImpl.getConnection(DatasourceConnectionProviderImpl.java:141)
	at org.hibernate.internal.AbstractSessionImpl$NonContextualJdbcConnectionAccess.obtainConnection(AbstractSessionImpl.java:292)
	at org.hibernate.engine.jdbc.internal.LogicalConnectionImpl.obtainConnection(LogicalConnectionImpl.java:214)
	... 26 more

用  show full processlist 语句发现本机IP已经使用了100个DB连接(均为sleep状态)

相关 sql:

select SUBSTRING_INDEX(host,':',1) as ip , count(*) from information_schema.processlist group by ip;

show full processlist;
show status;
show GLOBAL VARIABLES like '%wait_timeout%'

其实是baseDAO的代码问题, session.close()没有放到finally里面  导致前面语句插入失败时没有提交事务 也没有释放连接:

错误代码:

public void saveByBatch(List<T> list ,int batchSize){
		if(!CollectionUtil.isEmpty(list)){
			Session session = sessionFactory.openSession();    
			Transaction tx = session.beginTransaction();  
			int i=0;
			for (T entity:list ) { 
				i++;
			    session.save(entity);  
			    if ( i % batchSize == 0 ) { 
			        session.flush();    
			        session.clear();    
			     } 
		        tx.commit();    
			session.close(); 
		}
	}

睡眠连接过多 解决方法

睡眠连接过多，会对mysql服务器造成什么影响？

严重消耗mysql服务器资源(主要是cpu, 内存)，并可能导致mysql崩溃。

造成睡眠连接过多的原因？

1.　使用了太多持久连接（个人觉得，在高并发系统中，不适合使用持久连接）
2.　程序中，没有及时关闭mysql连接
3.　数据库查询不够优化，过度耗时。

那么，如果要从根本上解决sleep连接过多，就得从以上三点反复检查，但是见效并不快。

网上有人分享，使用shell脚本配合cron,定期杀死睡眠时间太久的连接，但是这种方法非常不可取，典型的以暴制暴，很可能导致数据崩溃，而且，还需要编写相应shell, 设置cron,　实施成本较繁琐，不推荐使用。

那么更好的办法应该是让mysql自己决定这些睡眠连接的命运，实施会更简单，有效。
mysql的配置文件中，有一项：
wait_timeout, 即可设置睡眠连接超时秒数，如果某个连接超时，会被mysql自然终止，多好的办法！

如设置：　
wait_timeout=100 #即设置mysql连接睡眠时间为100秒，任何sleep连接睡眠时间若超过100秒，将会被mysql服务自然终止，要比编写shell脚本更简单。

那么，对于正在运行中的生产服务器，在不能停止服务情况下，修改此项怎么办？很简单，以root用户登录到mysql,执行：

set global wait_timeout=100

# vi /etc/my.cnf  
[mysqld]  
wait_timeout=10  
# /etc/init.d/mysql restart
  • 1

不过这个方法太生硬了，线上服务重启无论如何都应该尽可能避免，看看如何在MySQL命令行里通过SET来设置：

mysql> set global wait_timeout=10;  
mysql> show global variables like '%timeout';  
+----------------------------+-------+  
| Variable_name | Value |  
+----------------------------+-------+  
| wait_timeout | 10 |  
+----------------------------+-------+
  • 1

即可。

在我的生产环境中，使用这个办法，取得了相当好的效果。

当然，更根本的方法，还是从以上三点排查之：
1.　程序中，不使用持久链接，即使用mysql_connect而不是pconnect。
2. 程序执行完毕，应该显式调用mysql_close
3.　只能逐步分析系统的SQL查询，找到查询过慢的SQL,优化之

wait_timeout默认值：
这里写图片描述
interactive_timeout默认值：
这里写图片描述

sql命令：

SHOW GLOBAL VARIABLES LIKE 'wait_timeout';
SHOW GLOBAL VARIABLES LIKE 'interactive_timeout';
set global wait_timeout=30;
SET GLOBAL interactive_timeout=30;
  •  

小注：wait_timeout要与interactive_timeout一起修改才能起效。
这种修改方式在重启mysql服务后，会失效，所以最好还是把这两个属性配置到mysql配置文件中。

liao0801_123
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CI框架出现mysql数据库连接资源无法释放的解决方法
10-22
主要介绍了CI框架出现mysql数据库连接资源无法释放的解决方法,分析了CI框架出现连接超过最大值的原因与相应的解决方法,涉及CI框架相关配置技巧,需要的朋友可以参考下
遇到一个数据库链接未释放问题
zhuyu052的专栏
07-22 1916
今天遇到一个链接未释放的问题，一会就把服务拖死了。刚刚发现了，做过记录，以免以后再犯。 问题代码 Connection con =this.getHibernateTemplate().getSessionFactory().openSession().connection(); 解决代码 Connection con = this.getHibernateTemplate().g
mysql 连接数 超时_MySQL连接数过大导致连接超时的问题
weixin_36446632的博客
01-19 196
春节访问量激增，负载压力很大，程序处理较慢，然后就调整项目中的线程池和数据库连接数。可是还是没有太好的提高，追根溯源，发现数据库连接受到限制。虽然是做了读写分离，但是还是没抗住高峰。所以会有报错：“MySQL: ERROR 1040: Too many connections”。查看最大连接数上限，默认的是151mysql> show variables like 'max_connecti...
关于jdbc连接不释放的问题
cihuan0804的博客
08-03 2267
参考：https://bbs.csdn.net/topics/392140202 转载于:https://my.oschina.net/u/4131327/blog/3082985...
连接池连接mysql不放_mysql 连接长期不释放及连接池相关问题
weixin_34005394的博客
01-30 1423
最近接手一个老系统，其中有部分逻辑是通过脚本去完成的。核心逻辑大概是这样：$db = new Mysqli($db_host, $db_user, $db_password);function doSomething($db){// 查询符合条件的数据if($exists){// todo}}while(true){doSomething($db);}这个脚本基本上是 7×24 小时在那里工作。暂...
Python3：python+mysql数据库连接及操作
12-20
本例子使用的python3.7，PyMySQL0.9.3版本，主要是讲解python如何连接mysql数据库，并对数据库进行查询，增删改等操作，本例中封装了一个基础的mysql数据库连接类，主要是用于当项目中存在多个数据库时，可通过传入...
PHP连接MySQL进行增、删、改、查操作
10-20
本篇文章主要介绍了PHP连接MySQL进行增、删、改、查操作的方法，具有很好的参考价值，下面跟着小编一起来看下吧
docker 连接宿主Mysql操作
01-20
今天公司项目要配置docker,顺利在windows上装完了之后，发现连接不上本地的mysql， 一直报权限问题或者地址错误的问题 最后发现 1：地址按照下面这个ipv4来 2：要在宿主Mysql将localhost权限打开，命令如下 mysql ...
python3.6连接mysql数据库及增删改查操作详解
01-20
折腾好半天的数据库连接，由于之前未安装 pip ，而且自己用的python 版本为3.6. 只能用 pymysql 来连接数据库，下边 简单介绍一下 连接的过程，以及简单的增删改查操作。 1.通过 pip 安装 pymysql 进入 cmd 输入 ...
mysql使用count+group by 日期,无数据的日期补0方法
liao0801_123的博客
09-06 3052
1、先用一个查询把指定日期范围的日期列表搞出来 -- t_device 为任意表,只需要数据量大于要统计的天数 SELECT @cdate := date_add(@cdate, INTERVAL - 1 DAY) AS statisName, 0 AS count FROM ( SELECT @cdate := date_add(CURDATE(), INTERVAL + 1...
阿里巴巴开发手册 (技术类)
liao0801_123的博客
12-07 1155
【强制】POJO类中布尔类型的变量，都不要加is前缀，否则部分框架解析会引起序列化错误。 反例：定义为基本数据类型Boolean isDeleted的属性，它的方法也是isDeleted()，RPC框架在反向解析的时候，“误以为”对应的属性名称是deleted，导致属性获取不到，进而抛出异常。 【推荐】如果模块、接口、类、方法使用了设计模式，在命名时需体现出具体模式。 说明：将设计模式体现在名...
mysql占位符,获取最近插入的id,关联删除
liao0801_123的博客
09-27 1148
mysql占位符 :   select @id := LAST_INSERT_ID(); select @id := userId from user; insert into table1 values(@id,'content');   mysql 获取最近插入的id(自增列) 在MySQL中，使用auto_increment类型的id字段作为表的主键。通常的做法，是通过“selec...
powerDesigner生成excel文档
liao0801_123的博客
07-09 996
数据库设计文档编写时,在pd写好了, 可以直接导出excel 已经完成设计的pd设计 打开pd,快捷键Ctrl + Shift + X或者Tools>Exectue Commands > Edit/Run Script '****************************************************************************** ...
mysql查看连接数show processlist
liao0801_123的博客
12-06 848
指令 show PROCESSLIST; use information_schema; SELECT user, host, time, command FROM information_schema.processlist where host LIKE '10.22'; show VARIABLES like '%conne%'; 如果有 SUPER 权限，则可以看到全部的线程，否...
mysql分组统计百分比
liao0801_123的博客
09-24 690
SELECT t2.time statisName, ROUND(T1.co / T2.totalCo * 100, 1) value FROM ( SELECT DATE_FORMAT(CREATE_TIME, '%Y-%m') time, COUNT(*) AS co FROM t_event WHERE ...
mysql的聚簇索引和非聚簇索引
liao0801_123的博客
06-29 547
话不多说, 先放上总结： InnoDB中，表数据文件本身就是按B+Tree组织的一个索引结构，聚簇索引就是按照每张表的主键构造一颗B+树，同时叶子节点中存放的就是整张表的行记录数据，也将聚集索引的叶子节点称为数据页。这个特性决定了索引组织表中数据也是索引的一部分； 　　一般建表会用一个自增主键做聚簇索引，没有的话MySQL会默认创建，但是这个主键如果更改代价较高，故建表时要考虑自增ID不能频繁update这点。 　　我们日常工作中，根据实际情况自行添加的索引都是辅助索引，辅助索引就是一个为了需找主键索
mysql锁机制与不同引擎区别(innodb,myisam)
liao0801_123的博客
11-14 381
参考资料 MyISAM与InnoDB两者之间区别与选择，详细总结，性能对比: https://www.cnblogs.com/y-rong/p/8110596.html Innodb与Myisam引擎的区别与应用场景: https://www.cnblogs.com/changna1314/p/6878900.html MySQL－ InnoDB锁机制: https:/...
存储过程+游标取一行案例
liao0801_123的博客
01-23 282
create PROCEDURE phoneDeal() BEGIN DECLARE name1 varchar(32); -- 密码 DECLARE pwd1 varchar(64); -- id -- DECLARE id int(11); -- 遍历数据结束标志 DECLARE done INT DEFAULT FALSE; DECL...
mysql长连接和短连接
最新发布
03-28
MySQL长连接和短连接是指客户端与MySQL服务器之间建立的连接的不同方式。 1. 长连接： 长连接是指客户端与MySQL服务器之间建立一次连接后，可以在该连接上进行多次数据交互。在长连接中，客户端在发送请求后，服务器会保持连接处于打开状态，直到客户端显式关闭连接或者超过服务器设置的超时时间。长连接适用于需要频繁与数据库进行交互的场景，可以减少每次连接和断开的开销。 2. 短连接： 短连接是指客户端与MySQL服务器之间每次进行数据交互都会建立一个新的连接，并在交互完成后立即关闭连接。在短连接中，每次请求都需要重新建立连接和认证，相比于长连接，短连接的开销更大。短连接适用于临时性的数据库操作，如执行一次查询或更新操作后即可关闭连接。 长连接和短连接各有优缺点，选择使用哪种方式需要根据具体的业务需求来决定。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值