pykafka的消息队列的使用

最新推荐文章于 2024-06-27 09:56:14 发布

int_gavin

最新推荐文章于 2024-06-27 09:56:14 发布

阅读量4.8k

点赞数

分类专栏：工作文章标签： kafka

本文链接：https://blog.csdn.net/hh289211972/article/details/51394185

版权

这篇博客探讨了在项目中如何运用pykafka进行消息队列的实现，特别是异步producer的实现方式。通过分析`producer.py`中的`start`函数，可以看到其利用gevent.spawn来管理客户端的连接和缓存队列。

摘要由CSDN通过智能技术生成

项目当中用到了pykafka，所以需要对代码进行查看。在异步producer的时候肯定会需要在client端缓存队列的，就来看看它都干了些啥。

producer.py中的start函数就是准备工作、连接工作做完之后的发起者咯：

    def start(self):
        def queue_reader():
            while self.running:
                try:
                    batch = self.flush(self.producer._linger_ms, self.producer._max_request_size)
                    if batch:
                        self.producer._send_request(batch, self)
                except Exception:
                    # surface all exceptions to the main thread
                    self.producer._worker_exception = sys.exc_info()
                    break
            log.info("Worker exited for broker %s:%s", self.broker.host,
                     self.broker.port)
        log.info("Starting new produce worker for broker %s", self.broker.id)
        name = "pykafka.OwnedBroker.queue_reader for broker {}".format(self.broker.i