如何抓取多进程中的报错

小馆长布鲁克

已于 2023-03-28 15:47:06 修改

阅读量174

点赞数

分类专栏：数据分析文章标签： python 开发语言

于 2023-03-28 15:17:16 首次发布

本文链接：https://blog.csdn.net/weixin_45686244/article/details/129816935

版权

数据分析专栏收录该内容

8 篇文章 0 订阅

订阅专栏

文章介绍了在多进程编程中，错误信息无法正常打印到终端的问题，提出了一种解决方案。通过定义`LogExceptions`类，捕获并使用`multiprocessing.get_logger().error`打印异常，同时保留原始异常以便进一步处理。在调用多进程函数时，如`data_write`，可以使用`pool.apply_async`结合`LogExceptions`来包装函数调用，确保错误能被记录和显示。

摘要由CSDN通过智能技术生成

多进程中的很多报错并不会打印到终端，这给我们调试代码带来很大麻烦。

现在用这个方法就可以把报错打印出来，也是我实习过程中偷师出来，给自己也记录一下。

def error(msg, *args):
    return multiprocessing.get_logger().error(msg, *args)


class LogExceptions(object):
    def __init__(self, callable):
        self.__callable = callable
        return

    def __call__(self, *args, **kwargs):
        try:
            result = self.__callable(*args, **kwargs)

        except Exception as e:
            # Here we add some debugging help. If multiprocessing's
            # debugging is on, it will arrange to log the traceback
            error(traceback.format_exc())
            # Re-raise the original exception so the Pool worker can
            # clean up
            raise

        # It was fine, give a normal answer
        return result

    pass

随后在自己调用多进程执行函数时，把这个LogExceptions函数套在我们需要执行的函数上，如下，套在data_write上：

for i in range(cnt):
        multi_rows = rows[i*step:(i+1)*step]
        # data_write(multi_rows,model,preprocess,device)
        pool.apply_async(LogExceptions(data_write),(multi_rows,model,preprocess,device,))