kafka系列-kafka教程

本文将探讨Kafka中的核心概念,包括领导者(leader)的角色,它负责处理分区的所有读写操作;副本(replicas),作为数据的备份,可能包括非活动节点;以及 ISR(In-Sync Replicas),即保持同步状态的活跃副本集合。这些机制确保了Kafka的高可用性和数据一致性。
摘要由CSDN通过智能技术生成
kafka简介
1、kafka是一个分布式的消息缓存系统,稳定性高,吞吐量高,适合高并发项目
2、kafka集群中的服务器都叫做broker
3、kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接
4、kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分区,以分担消息读写的负载
5、每一个分区都可以有多个副本,以防止数据的丢失
6、某一个分区中的数据如果需要更新,都必须通过该分区所有副本中的leader来更新,每个分区都有一个leader
7、消费者可以分组,所有的Consumer都在同一个Consumer Group,则只有一个consumer能消费到数据,如果所有的Consumer 都在一个不同的 Consumer Group , 那么就和传统的发布 - 订阅的形式一样了
8、消费者在具体消费某个topic中的消息时,可以指定起始偏移量

重要:
1、kakfa的每个组的消费记录offset存放在客户端(zookeeper上),所以,如果重新创建了topic,则要删除zookeeper的consumer记录
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值