由于项目中的一个接口需要多次调用数据库查询,这种逻辑上没有办法优化,必须查询多次,响应时间1200ms,因此决定优化。
优化方法,通过多线程连接数据库进行异步查询。
项目中与mysql连接使用的是django封装好的django.db.connection。代码运行报错:
Exception in thread Thread-7261:
Traceback (most recent call last):
File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\lib\threading.py", line 916, in _bootstrap_inner
self.run()
File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\lib\threading.py", line 864, in run
self._target(*self._args, **self._kwargs)
File "D:/python/github/SpiderInfo/Maoyan/getPage.py", line 579, in execSQL
res = cur.fetchall()
File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\lib\site-packages\pymysql\cursors.py", line 295, in fetchall
self._check_executed()
File "C:\Users\UCS-TREMBLE\AppData\Local\Programs\Python\Python36-32\lib\site-packages\pymysql\cursors.py", line 75, in _check_executed
raise err.ProgrammingError("execute() first")
pymysql.err.ProgrammingError: execute() first
错误分析:
django里封装好的数据库连接是放在线程的 local() 实例中的,每个请求有且只有一个,需要使用时创建,请求完成关闭。因而在我的代码中每个子线程都创建一个连接使用行不通。
解决办法:
使用原生的pymysql进行数据库连接,绕过django的限制。
pymysql的使用方法很简单,注意的是可以通过django.conf导入setting读取数据库配置参数创建conn。