Kafka创建多个consumer实例比较

本文探讨了在Kafka中创建多个consumer实例时的最佳实践。消费者实例的数量应基于topic的partition数量,理想比例是partitionCount/consumer。当topicCountMap配置过大时,会导致部分consumer无法收取消息。建议每个topic的partition比consumer节点的CPU核心数多一个,以提升Kafka的吞吐量。了解更多详情,请参考相关博客链接。
摘要由CSDN通过智能技术生成

1:创建一个consumer,多个worker线程执行消费其中worker的数量由下边代码中的new Integer(a_numThreads)参数决定

Map<String, Integer> topicCountMap = new HashMap<String, Integer>();
	    topicCountMap.put(topic, new Integer(a_numThreads));
	    ConsumerConfig consumerConfig = new ConsumerConfig(props);
		ConsumerConnector consumer = kafka.consumer.Consumer.createJavaConsumerConnector(consumerConfig);
	    Map<String, List<KafkaStream<byte[], byte[]>>> consumerMap = consumer.createMessageStreams(topicCountMap);
	    List<KafkaStream<byte[], byte[]>> streams = consumerMap.get(topic);


2:创建多个consumer实例,一个实例中可以包含一个或者多个worker线程
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值