环境
mac python3.6.8 records(第三方库) concurrent
描述
需求是需要批量执行200000条sql,单线程执行肯定不行,所以决定使用线程池,开启多个线程执行,提高执行速度
小技巧
当你决定使用线程池或者进程池的话,如何判断开启多少个线程或者进程呢?
简单粗暴的方法是:CPU密集型的任务 使用进程池,一般是poolSize=CPU + 1
IO密集型的任务 使用线程池,一般是poolSize=2*CPU + 1
遇到问题
Error closing cursor
Traceback (most recent call last):
File "3.6.8/lib/python3.6/site-packages/sqlalchemy/engine/base.py", line 1288, in _safe_close_cursor
cursor.close()
File "local/lib/python3.6/site-packages/MySQLdb/cursors.py", line 86, in close
while self.nextset():
File "local/lib/python3.6/site-packages/MySQLdb/cursors.py", line 139, in nextset
nr = db.next_result()
MySQLdb._exceptions.OperationalError: (2006, '')
原因
原因是因为开启多个线程,在执行的时候,有些后续db查询在之前的连接上执行,但之前的连接实例已经关闭,导致执行报错.
解决方案也很简单
# 在records中,也是传递这个关键字参数就可以了
create_engine(pool_size=300) # 开启连接池复用连接就可以了。
备注
不是线程开启的越多越好,开启了100个线程,反而更慢。