kafka python消费者重复消费,如何在pythonkafka中使用多个消费者?

我尝试多个消费者。

但它不起作用?

它是如何工作的?在

怎么了?在consumer1 = KafkaConsumer(

bootstrap_servers=['localhost:9092'],

#auto_offset_reset='earliest' , # 'earliest',

#enable_auto_commit= False ,

group_id='sr',

value_deserializer=lambda x: loads(x.decode('utf-8')))

consumer1.subscribe("numtest")

consumer2 = KafkaConsumer(

bootstrap_servers=['localhost:9092'],

#auto_offset_reset='earliest' , # 'earliest',

#enable_auto_commit= False ,

group_id='sr',

value_deserializer=lambda x: loads(x.decode('utf-8')))

consumer2.subscribe("numtest")

producer = KafkaProducer(bootstrap_servers=['localhost:9092'],

key_serializer = None ,

value_serializer=lambda x:

dumps(x).encode('utf-8'))

def on_send_success(record_metadata):

print("topic : {} , partition : {} , offset : {}".\

format( record_metadata.topic , record_metadata.partition , record_metadata.offset))

for msg , message in zip(consumer1 , consumer2) :

print("="*50)

print ("topic=%s partition=%d offset=%d: key=%s value=%s" % (message.topic, message.partition,

message.offset, message.key,

message.value))

print ("topic=%s partition=%d offset=%d: key=%s value=%s" % (msg.topic, msg.partition,

msg.offset, msg.key,

msg.value))

key = str(message.offset) + " " + str(msg.offset)

producer.send('output', value= { key : key } ).add_callback(on_send_success)

print("="*50)

事实上,我想做的是我想让两台计算机为模型的表示做一个前输入,然后合并两个结果。在

相反,在合并时必须保持相同的偏移量。在

之后,我想发送结果输出主题。在

我在output主题中的预期结果如下:

{offset=1:offest=1},{offset=2:offest=2}。。。。在

请帮帮我!我解决不了

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在librdkafka创建和使用多个Kafka消费者实例需要遵循以下步骤: 1. 初始化库配置:首先,你需要创建一个librdkafka库配置对象,这个对象将用于配置消费者的全局属性。 2. 设置配置参数:为库配置对象设置必要的参数,如`bootstrap.servers`、`group.id`等,这些参数是创建Kafka消费者时必须的。 3. 创建消费者实例:使用初始化好的库配置对象,创建多个`rd_kafka_t`结构体的实例。每个实例对应一个消费者。 4. 配置消费者属性:针对每个消费者实例,可以设置一些特定的消费者属性,如偏移量提交策略、自动偏移量管理等。 5. 分配内存并创建线程:librdkafka库内部使用轮询模型,因此可能需要为每个消费者实例创建一个独立的轮询线程。 6. 消费数据:使用`rd_kafka_consume_start()`函数开始消费消息,然后通过`rd_kafka_consume()`函数轮询消息队列,并使用回调函数处理接收到的消息。 7. 清理资源:当不再需要消费者时,应确保调用`rd_kafka_consume_stop()`停止消费,并且使用`rd_kafka_destroy()`函数销毁消费者实例。 以下是一个简化的代码示例,展示了如何初始化两个Kafka消费者实例: ```c #include <librdkafka/rdkafka.h> void error_callback(rd_kafka_t *rk, int err, const char *reason) { // 处理错误 } int main() { rd_kafka_conf_t *conf; rd_kafka_t *consumer1; rd_kafka_t *consumer2; const char *config[] = { "bootstrap.servers", "localhost:9092", "group.id", "example_group", NULL }; // 1. 初始化库配置 conf = rd_kafka_conf_new(); // 2. 设置配置参数 if (rd_kafka_conf_set(conf, config, RD_KAFKA_CONF_GLOBAL) != RD_KAFKA_CONF_OK) { // 错误处理 } // 3. 创建第一个消费者实例 consumer1 = rd_kafka_new(RD_KAFKA_CONSUMER, conf, NULL, 0); if (consumer1 == NULL) { // 错误处理 } // 4. 配置第一个消费者的属性(如果需要) // 5. 分配内存并创建线程(如果需要) // 6. 开始消费 rd_kafka_consume_start(consumer1, ...); // ... 为第二个消费者重复步骤 3 到 6 ... // 7. 清理资源 rd_kafka_consume_stop(consumer1); rd_kafka_destroy(consumer1); // ... 清理第二个消费者的资源 ... return 0; } ``` 确保在实际代码处理所有的错误情况,并且不要忘记创建消费者后分配内存和启动线程等步骤。务必根据实际需求调整配置参数。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值