使用多进程连接数据库出现异常 TypeError: can‘t pickle sqlite3.Connection objects 的解决办法

最新推荐文章于 2022-07-20 19:39:20 发布

Too_Lazy0x00

最新推荐文章于 2022-07-20 19:39:20 发布

阅读量1.9k

点赞数

文章标签： python

本文链接：https://blog.csdn.net/Too_Lazy0x00/article/details/124310467

版权

这篇博客讲述了在Python中使用多进程时，由于pickle模块无法序列化sqlite3连接对象导致的错误。作者通过将数据库操作的类方法封装到单独的函数中解决了这个问题。在尝试使用进程池时，又遇到了与线程锁相关的pickle异常，提示无法序列化_thread.lock和_thread.RLock对象。最终，作者通过调整代码结构成功避免了这些异常。

摘要由CSDN通过智能技术生成

定义了一个DbHelper类来完成数据库操作，如果使用普通的实例化对象没有问题，但如果讲这个实例化的对象用多进程调用就会报“TypeError: can’t pickle sqlite3.Connection objects”的异常

最后的解决办法就是把原来用进程直接调用的类方法封装到一个自定义函数里去

import sqlite3 as sq
import multiprocessing


class DbHelper():
    def __init__(self):
        self.conn = sq.connect('test.db')
        self.cur = self.conn.cursor()

    def select_table(self):
        print('开始查询')
        sql = '''SELECT * FROM stock'''
        self.cur.execute(sql)
        return self.cur.fetchall()

    def close_db(self):
        self.cur.close()
        self.conn.close()

def abc():
    a = DbHelper()
    print(a.select_table())
    a.close_db()


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=abc)
    p2 = multiprocessing.Process(target=abc)
    p3 = multiprocessing.Process(target=abc)
    p1.start()
    p2.start()
    p3.start()