pykafka中consumer_group的设置

最新推荐文章于 2024-07-19 19:05:04 发布

jameson_

最新推荐文章于 2024-07-19 19:05:04 发布

阅读量9.3k

点赞数 1

分类专栏： python

本文链接：https://blog.csdn.net/jameson_/article/details/53308136

版权

本文介绍了在pykafka中配置consumer_group的实践经验，通过代码示例展示了如何正确设置group_id以实现Kafka的订阅原理。在初次消费后，更改group_id以避免重复消费同一数据。在遇到每次消费都能获取历史数据的问题时，通过查阅官方文档，了解到commit_enable参数的作用，最终解决了问题。

摘要由CSDN通过智能技术生成

先看符合要求的代码

kafka生产者

import logging
import logger
from pykafka import KafkaClient
client = KafkaClient(hosts="**")
logging.info(client.topics)

input=raw_input('please enter your topic here:')
topic = client.topics[input]

producer=topic.get_sync_producer()
while True:
    event = raw_input("Add what to event log?: ('Q' to end.): ")
    if event == 'Q':
        break
    else: