multiprocessing Pool的异常处理问题

最新推荐文章于 2024-10-14 23:05:57 发布

hedongho

最新推荐文章于 2024-10-14 23:05:57 发布

阅读量2.3w

点赞数 6

分类专栏： python 文章标签： python multiprocessing Pool Exception

本文链接：https://blog.csdn.net/hedongho/article/details/79139606

版权

本文分析了在使用Python multiprocessing.Pool时遇到的AttributeError问题，源于子进程未捕获异常导致Pool崩溃。通过研究Pool的实现，发现异常在worker中未正确处理，且_handle_results线程只处理特定异常，其他异常可能导致主进程阻塞。解决方案是在func中捕获所有异常，确保不将异常抛到Pool中。此外，还探讨了pickle序列化在异常传递中的作用及MySQL Error类中args属性与__init__()参数顺序不一致的问题。

摘要由CSDN通过智能技术生成

multiprocessing.Pool开发多进程程序时，在某个子进程执行函数使用了mysql-python连接数据库，
由于程序设计问题，没有捕获到所有异常，导致某个异常错误直接抛到Pool中，导致整个Pool挂了，其异常错误如下所示：

Exception in thread Thread-3:
Traceback (most recent call last):
  File "/usr/lib64/python2.7/threading.py", line 812, in __bootstrap_inner
    self.run()
  File "/usr/lib64/python2.7/threading.py", line 765, in run
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/lib64/python2.7/multiprocessing/pool.py", line 376, in _handle_results
    task = get()
  File "/usr/lib/python2.7/site-packages/mysql/connector/errors.py", line 194, in __init__
    'msg': self.msg.encode('utf8') if PY2 else self.msg
AttributeError: ("'int' object has no attribute 'encode'", <class 'mysql.connector.errors.Error'>, 
(2055, "2055: Lost Connection to MySQL '192.169.36.189:3306', system error: timed out", None))