用INSERT DELAYED解决MySQL堵塞问题

由于对MySQL的并发插入数据能力没有一个很好的评估,因此在些多进程并发程序时,忽略了MySQL的堵塞问题
以至程序时不时因为MySQL的堵塞,导致子进程一直在等待MySQL释放堵塞,完成INSERT  指令。
故障现象:
堵塞的子进程都是 sbwait 状态
父进程,一直在等待子进程结束,是wait状态
如果不手工kill掉堵塞的子进程,这些进程一直存在
 原因排查:
  开始怀疑是socket部分的问题。以为是由于连接服务器时,在等待对方关闭连接而引起的堵塞。
  花了很长一段时间来检查和调试socket部分的代码,几次以为已经解决了的时候,又出现故障,都是以失败告终。
  这个周末,重新将整个socket连接,数据库连接逐一检查。发现,sbwait 状态时,是由于MySQL的堵塞引起的。多进程并发的情况下,同时抢占MySQL的资源。而MySQL默认表类型,是表锁定的。当A子进程锁定进行插入时,B子进程只能等待。以至并发时,发生堵塞现象。
解决办法:
优化表结构和数据结构
更改INSERT INTO为 INSERT DELAYED INTO
更改程序结构,让每个子进程各自打开一个MySQL连接
说明: INSERT DELAYED INTO,是客户端提交数据给MySQL,MySQL返回OK状态给客户端。而这是并不是已经将数据插入表,而是存储在内存里面等待排队。当mysql有空余时,再插入。
  这样的好处是,提高插入的速度,客户端不需要等待太长时间。坏处是,不能返回自动递增的ID,以及系统崩溃时,MySQL还没有来得及插入数据的话,这些数据将会丢失。
观测:
  做这些调整后,运行了一天,没有出现堵塞情况。并且运行时间也缩短了。
通过phpMyAdmin观测MySQL的进程,提交后,会有一些用户为DELAYED,状态为Waiting for INSERT的进程。过一会,数据完全插入后就消失了。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值