术语说明
名词 | 说明 |
---|---|
producer | 生产者 |
Broker | 服务代理节点,Kafka服务实例 |
consumer | 消费者 |
topic | 主题 |
partition | 分区,一个有序不变的消息序列。每个主题下可以有多个分区 |
replica | Kafka 中同一条消息能够被拷贝到多个地方以提供数据冗余,这些地方就是所谓的副本,副本还分为领导者副本和追随者副本,各自有不同的角色划分。副本是在分区层级下的,即每个分区可配置多个副本实现高可用 |
Offset | 消息唯一,表示分区中每条消息的位置信息,是一个单调递增且不变的值 |
Consumer Offset | 消费者位移,表征消费者消费进度,每个消费者都有自己的消费者位移 |
Consumer group | 消费者组,多个消费者实例共同组成的一个组,同时消费多个分区以实现高吞吐 |
Record | 消息, 一个topic 可以让若干个consumer消费,若干个consumer组成一个 consumer group ,一条消息只能被consumer group 中一个consumer消费,若干个partition 被若干个consumer 同时消费,达到消费者高吞吐量 |
Rebalance | 重平衡,消费者组内某个消费者实例挂掉后,其他消费者实例自动重新分配订阅 |
Kafka各语言client 功能支持
Feature | C/C++ | Go | Java | .NET | Python |
---|---|---|---|---|---|
Admin API | Yes | Yes | Yes | Yes | Yes |
Control Center metrics integration | Yes | Yes | Yes | Yes | Yes |
Custom partitioner | Yes | No | Yes | No | No |
Exactly Once Semantics | No | No | Yes | No | No |
Idempotent Producer | Yes | Yes | Yes | Yes | Yes |
Kafka Streams | No | No | Yes | No | No |
Record Headers | Yes | Yes | Yes | Yes | Yes |
SASL Kerberos/GSSAPI | Yes | Yes | Yes | Yes | Yes |
SASL PLAIN | Yes | Yes | Yes | Yes | Yes |
SASL SCRAM | Yes | Yes | Yes | Yes | Yes |
SASL OAUTHBEARER | Yes | Yes | Yes | No | No |
Simplified installation | Yes | No | Yes | Yes | Yes |
Schema Registry | Yes | No | Yes | Yes | Yes |
Topic Metadata API | Yes | Yes | Yes | Yes | Yes |