kafka简介
1、kafka是一个分布式的消息缓存系统,稳定性高,吞吐量高,适合高并发项目
2、kafka集群中的服务器都叫做broker
3、kafka有两类客户端,一类叫producer(消息生产者),一类叫做consumer(消息消费者),客户端和broker服务器之间采用tcp协议连接
4、kafka中不同业务系统的消息可以通过topic进行区分,而且每一个消息topic都会被分区,以分担消息读写的负载
5、每一个分区都可以有多个副本,以防止数据的丢失
6、某一个分区中的数据如果需要更新,都必须通过该分区所有副本中的leader来更新,每个分区都有一个leader
7、消费者可以分组,所有的Consumer都在同一个Consumer Group,则只有一个consumer能消费到数据,如果所有的Consumer
都在一个不同的
Consumer Group
中
,
那么就和传统的发布
-
订阅的形式一样了
8、消费者在具体消费某个topic中的消息时,可以指定起始偏移量
重要:
1、kakfa的每个组的消费记录offset存放在客户端(zookeeper上),所以,如果重新创建了topic,则要删除zookeeper的consumer记录