pykafka中consumer_group的设置

本文介绍了在pykafka中配置consumer_group的实践经验,通过代码示例展示了如何正确设置group_id以实现Kafka的订阅原理。在初次消费后,更改group_id以避免重复消费同一数据。在遇到每次消费都能获取历史数据的问题时,通过查阅官方文档,了解到commit_enable参数的作用,最终解决了问题。
摘要由CSDN通过智能技术生成

先看符合要求的代码

kafka生产者

import logging
import logger
from pykafka import KafkaClient
client = KafkaClient(hosts="**")
logging.info(client.topics)

input=raw_input('please enter your topic here:')
topic = client.topics[input]

producer=topic.get_sync_producer()
while True:
    event = raw_input("Add what to event log?: ('Q' to end.): ")
    if event == 'Q':
        break
    else:
       
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值