Kafka 小细节

在定义cosumer的时候会定义组的概念  把consumer分成几个组

 

在同一个消费者组里,同一时间消息只能有一个消费者在kafka消费消息

consumer是与partition进行连接的,消费以partition为单元  要消费就消费一个分区

不能重复消费消息

1、zookeeper 保存的是集群的状态信息  如果一台机器down了  zookeeper可以告诉第二台机器的备份 可以当leader了

2、每一个分区里的消息是有序的  多个分区的消息是无序的

3、每个消费者消费的消息队列的下标 是由zookeeper

4、kafka缓存默认保存消息7天----磁盘中  

5、同一个Topic 有很多Partition 分布在不同的集群节点上,这属于分布式

不同的topic partion的备份是相互的  负载均衡

6、partition分区在集群中对同一个topic来说是不会重复的(leader-follower除外)

7、同一个分区消息有序如下

8、动态的增加集群节点数,可以有效的提高kafka 的吞吐量 (这个很好理解 节点多了,+上每个电脑的带宽 磁盘IO和缓存,自然提高的吞吐量)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值