Python multiprocessing.Pool 中使用 logger

Python multiprocessing.Pool 中使用 logger

问题

由于 python 中使用多进程时, 需要将参数进行序列化和反序列化, 所有 logger 参数通常无法正确传入工作函数中,
同时一般也不建议直接将 logger 对象作为参数传入到多进程中. 那么如何解决在多进程 workder 函数中打印日志呢?

解决思路

在每个 worker 函数中创建独立的 logger 对象, 并添加 handler, 该 handler 较为特殊, 是一个单例的 QueueHandler,
并开启独立线程, 处理各个 logger 对象输出到 queue 中的值即可.

code

# -*- coding: utf-8 -*-
"""
-------------------------------------------------
   File Name：       mt_logger.py
   Description :
   Author :          cugxy
   date：            2019/12/10
-------------------------------------------------
   Change Activity:
                     2019/12/10
-------------------------------------------------
"""

import logging
import logging.handlers
import multiprocessing
import threading


class SingleQueueHandler(logging.handlers.QueueHandler):