使用多进程连接数据库出现异常 TypeError: can‘t pickle sqlite3.Connection objects 的解决办法

定义了一个DbHelper类来完成数据库操作,如果使用普通的实例化对象没有问题,但如果讲这个实例化的对象用多进程调用就会报“TypeError: can’t pickle sqlite3.Connection objects”的异常

最后的解决办法就是把原来用进程直接调用的类方法封装到一个自定义函数里去

import sqlite3 as sq
import multiprocessing


class DbHelper():
    def __init__(self):
        self.conn = sq.connect('test.db')
        self.cur = self.conn.cursor()

    def select_table(self):
        print('开始查询')
        sql = '''SELECT * FROM stock'''
        self.cur.execute(sql)
        return self.cur.fetchall()

    def close_db(self):
        self.cur.close()
        self.conn.close()

def abc():
    a = DbHelper()
    print(a.select_table())
    a.close_db()


if __name__ == '__main__':
    p1 = multiprocessing.Process(target=abc)
    p2 = multiprocessing.Process(target=abc)
    p3 = multiprocessing.Process(target=abc)
    p1.start()
    p2.start()
    p3.start()

使用进程池时遇到的坑… TypeError: can‘t pickle _thread.lock objects

TypeError: can’t pickle _thread.RLock objects

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
当尝试将`map`对象作为参数传递给多进程函数时,会引发`TypeError: can't pickle select.epoll objects`错误。这是因为`map`对象无法序列化,而多进程在启动时需要对参数进行序列化。 要解决这个问题,可以使用`multiprocessing`模块的`Manager`类来创建一个可序列化的代理对象来传递`map`对象。以下是一个示例代码: ```python import multiprocessing def process_function(my_map): # 在这里使用my_map对象 for item in my_map: # ... if __name__ == '__main__': my_map = [1, 2, 3, 4, 5] # 这里是你的map对象 with multiprocessing.Manager() as manager: map_proxy = manager.list(my_map) process = multiprocessing.Process(target=process_function, args=(map_proxy,)) process.start() process.join() ``` 在上述示例代码中,我们首先创建了一个`map`对象`my_map`,然后使用`Manager`类创建了一个可序列化的代理对象`map_proxy`。这个代理对象可以在多进程间共享,并且支持对其进行迭代操作。 接下来,我们创建了一个多进程,并将代理对象`map_proxy`作为参数传递给进程函数。在进程函数中,我们可以直接使用这个代理对象进行操作,例如迭代其中的元素。 需要注意的是,代理对象会在多进程间进行数据同步,所以对于大型的`map`对象,可能会有一些性能上的开销。另外,还可以考虑使用其他的进程间通信机制,如`Queue`、`Pipe`等,具体取决于你的需求和代码结构。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值