Python logging将日志输出到Kafka

Python logging用于输出Python程序运行的日志。现实中往往一个项目会部署在多台机器之上，这种情况下，为了方便对各主机运行日志进行收集，往往会使用消息队列。通过消息队列将各台机器上的日志收集并写入日志文件。本文使用Python logging结合Kafka作为范例，将日志输出到Kafka消息队列。

Python的logging模块对于日志的处理在Handler中。因此，我们可以通过继承logging.Handler模块并重写emit函数来实现自定义处理日志。

class KafkaLoggingHandler(logging.Handler):

    def __init__(self, **kwargs):
        logging.Handler.__init__(self)

        self.kafka_client = SimpleClient(hosts=HOSTS)
        self.key = kwargs.get("key", None)
        self.kafka_topic_name = TOPICS

        if not self.key:
            self.producer = SimpleProducer(self.kafka_client, **kwargs)
        else:
            self.producer = KeyedProducer(self.kafka_client, **kwargs)

    def emit(self, record):
        # 忽略kafka的日志，以免导致无限递归。
        if 'kafka' in record.name:
            return

        tr