Django数据库连接丢失问题的解决方法

使用django的orm查询方式，与数据库连接超时问题解决方法

        在Django中使用mysql偶尔会出现数据库连接丢失的情况，特别是在异步的时候，由于长时间不操作数据库导致，错误通常有如下两种：

        查询mysql全局变量SHOW GLOBAL VARIABLES;可以看到wait_timeout，此变量表示连接空闲时间。如果客户端使用一个连接查询多次数据库，如果连续查询则没有问题，如果查询几次后停顿超过wait_timeout后再次查询就会出现数据库连接丢失。

情景再现：

        将mysql的wait_timeout设置为10秒，然后进入django shell模拟查询（以下错误信息只保留了部分）

 

        说明了是空闲时间过长导致的错误。

        django为了减少不必要的数据库连接、关闭，复用了数据库连接，当开始一个请求后建立一个连接池存放连接，之后此次请求都复用一个连接。那猜测就是django保存连接的比wait_timeout长了，如果保存时间短一些就可以重新建立连接避免此错误了。 没错，官方文档也已经说明了此问题，设置数据库 CONN_MAX_AGE参数，示例：

?

1 2 3 4 5 6 7 8 9 10

DATABASES = {  "default": {  'ENGINE': 'django.db.backends.mysql',  'NAME': '',  'USER': '',  'PASSWORD': '',  'HOST': '',  'CONN_MAX_AGE': 9 # 比wait_timeout小一些  } }

        当我们测试后却发现，事情并非想想中那么简单。为何错误依旧出现？这一切的背后， 是人性的扭曲还是道德的沦丧?敬请收看下节《突破》。

突破

对django源码中CONN_MAX_AGE进行了一番搜索，顺藤摸瓜发现了django关闭失效连接的方法django.db.close_old_connections()：

1 2 3 4 5 6 7 8

# Register an event to reset transaction state and close connections past # their lifetime. def close_old_connections(**kwargs):  for conn in connections.all():   conn.close_if_unusable_or_obsolete() signals.request_started.connect(close_old_connections) signals.request_finished.connect(close_old_connections)

        重点在最后两行，通过signal实现特定事件时执行此方法，两个特定事件顾名思义是请求开始和请求结束。而我们报错的是在一次请求中，所以此法通常无效，仅仅是实现每个请求关闭并重新建立连接。

解决

复现问题的django shell不要关闭，继续执行如下代码：

In[5]：from django.db import close_old_connections
In[6]：close_old_connections()
In[7]：list(User.objects.filter(id=1))
Out[7]: [<User: admin>]

        调用django.db.close_old_connections后再次查询就没有错误了。 那么我们要避免此错误就要执行每个数据库查询前调用django.db.close_old_connections方法。

        一般情况不会出现此类问题，因为一个请求中不间断进行数据库查询，无需每个请求调用此方法，杞人忧天。

        有时候一个请求中数据量较大，会查询数据库后进行一段时间其他（不涉及数据库）处理，比如先查询一些数据，然后将数据处理、生成excel、保存文件并生成url。已知此过长需要非常长时间，那么最终url保存数据库就最好先调用django.db.close_old_connections防止连接丢失

题外话 实际上②所述情况最好从根本上解决处理慢的问题，也可以换作异步处理，从根本上解决问题。