kafka 配置多台消费端，只有2个消费者可以消费

最新推荐文章于 2023-06-26 23:45:11 发布
最新推荐文章于 2023-06-26 23:45:11 发布
阅读量3.1k 收藏 1
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mhbsoft/article/details/104696554
版权

原因：
查看 这个 topic 有几个 partition （分区），如果只有2个partition，那么就只有2台配置消费者的机器可以进行消费。

铁子哥写Java
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区
01-04
springboot集成kafka实战项目代码 项目介绍地址：https://blog.csdn.net/qq_38105536/article/details/122308040
配置Kafka生产者与消费者所需jar包_高版本
06-21
Kafka是一种高吞吐量的分布式发布订阅消息系统，通过生产者与消费者进行消息传递。 包里包括：kafka_2.11-0.11.0.0.jar、kafka-clients-0.11.0.0.jar、scala-library-2.11.1.jar（最后一个是关联jar） 注：0.11以后版本与0.9以下版本服务器不匹配，请下载适合的jar包。
Kafka集群搭建及生产者消费者案例
Widsom的博客
04-27 1万+
Kafka集群搭建及生产者消费者案例 本文搭建的集群是采3台机器，分别是server01，server02，server03。linux系统是centos6.7。 kafka需要配合zookeeper使用，在安装kafka之前，需要先安装zookeeper集群，关于安装zookeeper集群，可以参考：Zookeeper集群环境搭建 一、Kafka集群搭建 1.1 下载kafka安装包...
Kafka 批量消费
weixin_47648825的博客
11-24 9961
业务背景项目有个需求需要统计IM聊天相关数据，原设计思想是在聊天产生时通过消息队列进行数据记录，利用rocketMQ实现。上线后发现由于内部IM活跃用户量级较大，MQ生产者生产消息过多，消费者实时消费会造成服务器CPU和硬盘读写压力，在改不了硬件配置的情况下，笔者通过了解到kafka批量消费的实现可解决这个问题，记录下该方案。
Kafka系列 - 06 Kafka 集群环境搭建（三台服务器）
你今天真好看呀
11-27 2388
hadoop-101 虚拟机的 IPADDR 的地址改为：192.168.38.23；hadoop-103 虚拟机的 hostname 的地址改为：hadoop103；kafka集群搭建，需要3台虚拟机环境，但是我目前只安装了一台虚拟机，因此还需要准备两台虚拟机环境，正常情况下应该再安装2台虚拟机，这里为了方便直接克隆出3台虚拟机。② 配置 broker.id，这是Kafka在整个集群当中的唯一身份标识，每个节点不能重复。④ 启动集群：启动集群就是分别启动每个实例，启动后我们查询一下每个实例的运行状态。
KAFKA学习
wanghuahu123的博客
05-09 4968
kafka学习
kafka消息只能在一台服务器消费的问题解决过程
tyrroo的博客
04-24 4626
场景： kafka消费端应用部署在两台机器上，其中一台能消费到生产端发出的kafka消息，另一台服务器接收不到任何消息。 解决过程： 一、从消费端启动日志中找出所有消费端线程 2019-04-23 20:04:44,726 [xx_xxapp03-1556011171628-976bc2af_watcher_executor] INFO kafka.consumer.RangeAssi...
聊聊在springboot项目中如何配置多个kafka消费者
kingwinstar的博客
08-02 7792
不知道大家有没有遇到这样的场景，就是一个项目中要消费多个kafka消息，不同的消费者消费指定kafka消息。遇到这种场景，我们可以通过kafka的提供的api进行配置即可。但很多时候我们会使用spring-kafka来简化开发，可是spring-kafka原生的配置项并没提供多个kafka配置，因此本文就来聊聊如何将spring-kafka进行改造，使之能支持多个kafka配置聊聊如何实现一个带幂等模板的kafka消费者监听是同份代码，就直接复用了。...
多个消费者订阅一个Kafka的Topic(使用KafkaConsumer和KafkaProducer)
zhangbeizhen18的博客
06-26 9087
记录：466 场景：一个KafkaProducer在一个Topic发布消息，多个消费者KafkaConsumer订阅Kafka的Topic。每个KafkaConsumer指定一个特定的ConsumerGroup，达到一条消息被多个不同的ConsumerGroup消费。
【MQ】kafka（四）——kafka消费者如何消费的？如何防止重复消费？如何顺序消费？
热门推荐
哈士奇
07-10 3万+
前面博客小编向大家分享了 kafka如何保证消息不丢失？，基本是从producer和broker来分析的，producer要支持重试和acks，producer要做好副本和及时刷盘落地。这篇博客呢，就跟大家一起聊一下 kafka 消费者如何消费的？如何避免重复消费？消费流程：一般我们消费测试是不会变的，都使用默认的，也就是第一种，range策略。默认策略，保证基本是均衡的。 计算公式 ： n = 分区数/消费者数 m = 分区数%消费者数 前m个消费者，消费n+1个，剩余的消费n个 eg：12个par
配置Kafka生产者与消费者所需jar包
06-21
Kafka是一种高吞吐量的分布式发布订阅消息系统，通过生产者与消费者进行消息传递。包里包括：kafka_2.11-0.8.2.2.jar、kafka-clients-0.8.2.2.jar、scala-library-2.11.1.jar（最后一个是关联jar）
SpringKafka 动态配置监听消费 Example Code
最新发布
04-25
本项目为基于 Spring Kafka 的动态配置消费者的 Demo，主要实现了以下功能： 1. 动态读取数据库配置连接 Kafka 地址 2. 动态创建 Kafka 消费者，并监听指定的 Topic 3. 可以通过调用接口动态启动或停止 Kafka 的消费...
erlang-kafka:Erlang 的 Kafka 消费者协议
06-23
EKC 是的 Erlang 客户端，目前提供的消费者 API，是一个高吞吐量的分布式消息传递系统。 建造 EKC 使用 。 要构建运行make 。 客户 Kafka 协议客户端作为 OTP gen_server运行。 范围 描述 默认 笔记 主持人 要连接...
深入浅出Kafka——可靠性存储
weixin_39400271的博客
06-24 264
一、kafka体系架构 由上图可知，有三台机器搭建的kafka集群，kafka作为一种消息队列，producer以push模式将数据发送到kafka的机器上（每一台kafka机器可以认为是一个kafkabroker），同时订阅了kafkabroker的consumer，以pull模式对消息进行消费。请注意到一个问题，上图与zookeeper集群有联系的只有kafka集群和...
3台廉价机器每秒写入2百万！Kafka为什么那么快？
张晨光老师的播客
05-14 654
Kafka 的消息是保存或缓存在磁盘上的，一般认为在磁盘上读写数据是会降低性能的，因为寻址会比较消耗时间，但是实际上，Kafka 的特性之一就是高吞吐率。 即使是普通的服务器，Kafka 也可以轻松支持每秒百万级的写入请求，超过了大部分的消息中间件，这种特性也使得 Kafka 在日志处理等海量数据场景广泛应用。 针对 Kafka 的基准测试可以参考 Apache Kafka 基准测试（）《...
kafka归纳总结
qq_25073261的博客
04-23 1162
1. Kafka架构 生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。 2. Kafka的机器数量 Kafka机器数量 = 2 （峰值生产速度 * 副本数 / 100）+ 1 3. 副本数设定 一般我们设置成2个或3个，很多企业设置为2个。 副本的优势：提高可靠性；副本劣势：增加了网络IO传输 4. Kafka压测 Kafka官方自带压力测试脚本（kafka-consumer-perf-test.sh、kafka-pro
Kafka压力测试(写入MQ消息压测和消费MQ消息压测）
laofashi2015的专栏
07-19 2万+
1.测试目的         本次性能测试在正式环境下单台服务器上Kafka处理MQ消息能力进行压力测试。测试包括对Kafka写入MQ消息和消费MQ消息进行压力测试，根据10w、100w和1000w级别的消息处理结果，评估Kafka的处理性能是否满足项目需求。（该项目期望Kafka能够处理上亿级别的MQ消息） 2.测试范围及方法 2.1测试范围概述    测试使用Kafka自带的测试脚本，...
Kafka 学习笔记
低吟不作语的博客
02-07 5298
为什么使用消息队列？ 以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题 使用消息队列可以实现异步的通信方式，相比于同步的通信⽅式，异步的⽅式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务的分布式事务的保障，也能保障业务执行之后的最终⼀致性 Kafka 概述 1. 介绍 Kafka 是⼀个分布式的、⽀持分区的（partition）、多副本的 （replica），基于 zookeeper 协调的分布式消息.
kafka 中查看所有的group列表信息
mhbsoft的博客
05-06 1万+
[root@kafkasitapp240 kafka_2.11-1.1.1]# bin/kafka-consumer-groups.sh --zookeeper 【zk的ip】:2181 --list
spring boot 整合kafka多个消费者消费
06-12
要实现Spring Boot整合Kafka多个消费者消费，可以采用以下步骤： 1. 在application.properties文件中配置Kafka的相关属性，如下所示： ``` spring.kafka.consumer.bootstrap-servers=localhost:9092 spring.kafka.consumer.group-id=my-group spring.kafka.consumer.auto-offset-reset=earliest spring.kafka.consumer.enable-auto-commit=false spring.kafka.consumer.max-poll-records=10 ``` 2. 创建多个消费者类，实现KafkaListener注解，如下所示： ``` @Component public class Consumer1 { @KafkaListener(topics = "test", groupId = "my-group") public void listen(String message) { System.out.println("Consumer1 received message: " + message); } } @Component public class Consumer2 { @KafkaListener(topics = "test", groupId = "my-group") public void listen(String message) { System.out.println("Consumer2 received message: " + message); } } ``` 3. 在启动类上添加@EnableKafka注解，如下所示： ``` @SpringBootApplication @EnableKafka public class KafkaDemoApplication { public static void main(String[] args) { SpringApplication.run(KafkaDemoApplication.class, args); } } ``` 通过以上步骤，可以实现Spring Boot整合Kafka多个消费者消费。每个消费者都可以独立地消费消息，不会互相影响。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值