最近在学习Kafka,新的知识容易忘,好记性不如烂笔头,多记记终归是好的。
一、Kafka 简介
Kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统。
Kafka 首先作为一个消息系统,和很多传统消息系统一样拥有以下好处:
- 异步通信:发送方不需要等待接收方处理消息,就可以直接继续自己的事。
- 解耦:作为第三方存储发送/接受的消息,可以扩展或修改两边的处理过程,只要确保它们遵守同样的接口约束。
- 可恢复性:作为第三方存储的消息可以保证系统的一部分组件失效时,不会影响到整个系统。比如消费者暂时失效了,恢复后可以继续消费消息。
- 缓存:可以平衡发送/接受方的处理能力,削峰减流,避免发送方流量远大于接收方导致接收方崩溃。
其次Kafka 是一个高吞吐的分布式架构。
- 通过O(1)的磁盘数据结构提供消息的持久化,这种结构对于即使数以TB的消息存储也能够保持长时间的稳定性能。
- 高吞吐量 :即使是非常普通的硬件Kafka也可以支持每秒数百万 的消息。
Kafka 的分布式架构可以提供高可用、高并发、复制备份等好处。
- Producer :消息生产者,就是向 kafka broker 发消息的客户端;
- Broker :一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker可以容纳多个 topic。
- Topic :可以理解为一个队列,生产者和消费者面向的都是一个 topic;
- Partition:为了实现扩展性,一个非常大的 topic 可以分布到多个broker(即服务器)上,一个 topic 可以分为多个 partition,每个 partition 是一个有序的队列;
- Replica:副本,为保证集群中的某个节点发生故障时,该节点上的 partition 数据不丢失,且 kafka 仍然能够继续工作,kafka 提供了副本机制,一个 topic 的每个分区都有若干个副本,一个 leader 和若干个 follower。
- leader:每个分区多个副本的“主”,生产者发送数据的对象,以及消费者消费数据的对象都是 leader。
- follower:每个分区多个副本中的“从”,实时从 leader 中同步数据,保持和 leader 数据的同步。leader 发生故障时,某个 follower 会成为新的 follower。
- Consumer :消息消费者,向 kafka broker 取消息的客户端;
- Consumer Group (CG):消费者组,由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据,一个分区只能由一个组内消费者消费;消费者组之间互不影响。所有的消费者都属于某个消费者组,即消费者组是逻辑上的一个订阅者。