python sqlalchemy records MySQLdb _exceptions OperationalError 2006 Error解决

环境

mac python3.6.8 records(第三方库) concurrent

描述

需求是需要批量执行200000条sql，单线程执行肯定不行，所以决定使用线程池，开启多个线程执行，提高执行速度

小技巧

当你决定使用线程池或者进程池的话，如何判断开启多少个线程或者进程呢？
简单粗暴的方法是：CPU密集型的任务 使用进程池，一般是poolSize=CPU + 1
IO密集型的任务 使用线程池,一般是poolSize=2*CPU + 1

遇到问题

Error closing cursor
Traceback (most recent call last):
  File "3.6.8/lib/python3.6/site-packages/sqlalchemy/engine/base.py", line 1288, in _safe_close_cursor
    cursor.close()
  File "local/lib/python3.6/site-packages/MySQLdb/cursors.py", line 86, in close
    while self.nextset():
  File "local/lib/python3.6/site-packages/MySQLdb/cursors.py", line 139, in nextset
    nr = db.next_result()
MySQLdb._exceptions.OperationalError: (2006, '')

原因

原因是因为开启多个线程，在执行的时候，有些后续db查询在之前的连接上执行，但之前的连接实例已经关闭，导致执行报错.

解决方案也很简单

# 在records中，也是传递这个关键字参数就可以了
create_engine(pool_size=300) # 开启连接池复用连接就可以了。

备注

不是线程开启的越多越好，开启了100个线程，反而更慢。