Python进程池报错TypeError: can‘t pickle cv2.dnn_Net objects

Python进程池报错
Traceback (most recent call last):
  File "data_pool2.py", line 86, in <module>
    processData1()
  File "data_pool2.py", line 75, in processData1
    print('res:',res[0].get().shape,len(res))
  File "D:\python_fancp\Anaconda3.7\lib\multiprocessing\pool.py", line 657, in get
    raise self._value
  File "D:\python_fancp\Anaconda3.7\lib\multiprocessing\pool.py", line 431, in _handle_tasks
    put(task)
  File "D:\python_fancp\Anaconda3.7\lib\multiprocessing\connection.py", line 206, in send
    self._send_bytes(_ForkingPickler.dumps(obj))
  File "D:\python_fancp\Anaconda3.7\lib\multiprocessing\reduction.py", line 51, in dumps
    cls(buf, protocol).dump(obj)
TypeError: can't pickle cv2.dnn_Net objects

原因就是:
  神经网络CNN的模型加载中不能用类Class的self变量,将相关的模型加载过程,修改为全局变量,解决问题。

这种方式加载模型报错

class FaceFeatureAPI:
    def __init__(self, pb_path):
        self.opencv_net = cv2.dnn.readNetFromTensorflow(pb_path)

改为全局变量加载

PB_PATH = os.path.join(r"./models", "frozen_model.pb") 
opencv_net = cv2.dnn.readNetFromTensorflow(PB_PATH)
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
抱歉,我之前的回答有些误导。`TypeError: can't pickle select.epoll objects`错误与`select.epoll`对象无关。 实际上,这个错误是由于`multiprocessing`模块在启动进程时需要对参数进行序列化,但是某些对象是不可序列化的,例如文件句柄、网络连接等。当你尝试将这些不可序列化的对象作为参数传递给多进程函数时,就会引发`TypeError: can't pickle`错误。 要解决这个问题,你可以考虑将不可序列化的对象移到主进程中创建,然后使用进程间通信机制(如`Pipe`、`Queue`等)将其传递给子进程。这样子进程就可以共享主进程中的这些对象,而不需要对其进行序列化和反序列化。 以下是一个示例代码,演示了如何在多进程中共享不可序列化的对象: ```python import multiprocessing as mp def process_function(obj): # 在这里使用不可序列化的obj对象 # ... if __name__ == '__main__': # 在主进程中创建不可序列化的对象 obj = ... # 这里是你的不可序列化的对象 # 创建进程通信管道 parent_conn, child_conn = mp.Pipe() # 创建子进程 process = mp.Process(target=process_function, args=(obj,)) process.start() # 将对象传递给子进程 child_conn.send(obj) child_conn.close() # 等待子进程结束 process.join() ``` 在上述示例代码中,我们首先在主进程中创建了一个不可序列化的对象`obj`,然后创建了一个进程通信管道(`Pipe`)。接下来,我们创建了子进程,并将管道的一端传递给子进程。然后,我们使用管道将不可序列化的对象`obj`发送给子进程。子进程在收到对象后,就可以直接使用它。 需要注意的是,这只是一个示例,你需要根据你的实际情况来替换`...`部分的代码,将其中的不可序列化对象创建和传递逻辑替换成你自己的代码。另外,还可以考虑使用其他的进程间通信机制,如`Queue`、`Manager`等,具体取决于你的需求和代码结构。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Peanut_范

您的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值