1:为什么选择Kafka
-
目前比较成熟的中间件有
-
ActiveMQ
-
RabbitMQ
-
Kafka
-
RocketMQ
-
-
对比图
特性 | Kafka | ActiveMQ | RabbitMQ | RocketMQ |
所属社区/公司 | Apache | Apache | Mozilla Public License | Apache/Ali |
生产者-消费者模式 | 支持 | 支持 | 支持 | 支持 |
发布-订阅 | 支持 | 支持 | 支持 | 支持 |
REQUEST-REPLY | - | 支持 | 支持 | 支持 |
API完备性 | 高 | 高 | 高 | 低(静态配置) |
多语言支持 | 支持,JAVA优先 | 支持,JAVA优先 | 语言无关 | 支持 |
单机呑吐量 | 十万级 | 万级 | 万级 | 十万级 |
消息延迟 | 毫秒级 | - | 微秒级 | - |
可用性 | 非常高(分布式) | 高(主从) | 高(主从) | 高 |
消息丢失 | 理论上不丢失 | - | 低 | - |
消息重复 | 理论上会有重复 | - | 可控制 | - |
事务 | 支持 | 支持 | 不支持 | 支持 |
文档的完备性 | 高 | 高 | 高 | 中 |
2:重要概念
-
broker
-
一个Kafka的集群通常由多个broker组成,这样才能实现负载均衡、以及容错
-
broker是无状态的,它们是通过Zookeeper来维护集群
-
一个Kafka的broker每秒可以处理数十万次读写,每个broker都可以处理TB消息而不影响性能
-
-
zookeeper
-
ZK用来管理和协调broker,并且存储了Kafka的元数据(如,topic,partition,consumer)
-
ZK服务主要用于通知生产者和消费者Kafka集群中有新的broker加入、或者Kafka集群中出现故障的broker
-
-
producer(生产者)
- 生产者负责将数据推送给broker的topic
-
consumer(消费者)
- 消费者负责从broker的topic中拉取数据,并自己进行处理
-
consumer group(消费者组)
-
consumer group是kafka提供的可扩展且具有容错性的消费者机制
-
一个消费者组可以包含多个消费者
-
一个消费者组有一个唯一的ID(group Id)
-
组内的消费者一起消费主题的所有分区数据
-
-
分区(Partitions)
-
在Kafka集群中,主题被分为多个分区
-
副本(Replicas)
-
副本可以确保某个服务器出现故障时,确保数据依然可用
在Kafka中,一般都会设计副本的个数>1
-
主题
-
- 主题是一个逻辑概念,用于生产者发布数据,消费者拉取数据
- Kafka中的主题必须要有标识符,而且是唯一的,Kafka中可以有任意数量的主题,没有数量上的限制
- 在主题中的消息是有结构的,一般一个主题包含某一类消息
- 一旦生产者发送消息到主题中,这些消息就不能被更新(更改)
-
偏移量(offset)
-
- offset记录着下一条将要发送给Consumer的消息的序号
- 默认Kafka将offset存储在ZooKeeper中
- 在一个分区中,消息是有顺序的方式存储着,每个在分区的消费都是有一个递增的id。这个就是偏移量offset
- 偏移量在分区中才是有意义的。在分区之间,offset是没有任何意义的