详解Kafka流程

1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端；
2）Consumer ：消息消费者，向 kafka broker 取消息的客户端；
3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
4）Broker ：一台 kafka 服务器就是一个 broker。一个集群由多个 broker 组成。一个 broker
可以容纳多个 topic。 broker相当于服务器。
5）Topic ：可以理解为一个队列，生产者和消费者面向的都是一个 topic；比如点赞是一个主题，收藏是一个主题，主题的作用就是把数据作为一个分类。
6）Partition：分区，为了实现扩展性，一个非常大的 topic 可以分布到多个 broker（即服务器）上，一个 topic 可以分为多个 partition，每个 partition 是一个有序的队列，这里的分区为了提高某一个操作系统的负载均衡，因为一个主题两个分区划分在两个机器上，提高了主题的负载能力；
7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的 partition 数据不丢失，且 kafka 仍然能够继续工作，kafka 提供了副本机制，一个 topic 的每个分区都有若干个副本，一个 leader 和若干个 follower。
8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是 leader，leader是根据主题出现的而不是根据集群（broker）出现的。
9）follower：每个分区多个副本中的“从”，实时从 leader 中同步数据，保持和 leader 数据的同步。leader 发生故障时，某个 follower 会成为新的 follower。相当于备份，如果主机宕机了，follower就可以变为leader，由于是这个功能，所以leader和follower一定不在同一个机器上
无论是生产者还是消费者都是只找leader,只有leader挂了，才找follower
主题是有分区的，每一个分区是有副本的
消费者这边有一个概念叫消费者组（群），多个消费者用一个组名，这多个消费者就是一个组的了，一个分区只能被一个消费者组里的某一个消费者消费。

如果现在没有消费者B，消费者A订阅了主题A，所有的主题A都应该是消费者A的，就应该是这样

消费者组的好处就是提高消费能力（以前是一个人消费100条数据，现在是两个人，每人消费50条）
整个kafka能正常工作依赖zookeeper，zookeeper会帮助Kafka存储信息，帮助管理整个集群，要想Kafka是共用的，要想kafka是一个集群，保证他们所用的zookeeper是同一套集群就够了。
比如原来有10条消息，消费者消费5条挂了，重启后从第6条继续消费，做到这个事情的前提是监控这个数据到哪里了把反馈的信息保存下来，所以在消费者里要保存消费信息，保存在zookeeper里面，内存里也有一份，平时用内存里面的，当挂掉了，用zookeeper里的，也就是zookeeper会帮消费者储存位置信息。
总的来说offset就是消费者消费的位置信息，注意版本不同消费者消费位置信息存储的位置不同。