Kafka相关重点难点

Kafka传统定义：是一个分布式的基于发布/订阅模式的 消息队列，主要应用于大数据的实时处理领域。

发布/订阅：消息的发布者不会将消息直接发送给特定的订阅者，而是将发布的消息分为不同的类别，订阅者只接收感兴趣的消息。

最新定义：kafka是一个开源的分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

消息队列应用场景—缓冲/消峰：有助于控制和优化数流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。

解耦：允许你独立的扩展或经过修改两边的处理过程，只要确保他们遵守同样的接口约束。

异步通信：允许用户把一个消息放入队列，但并不立即处理它，然后在需要的时候再去处理他们。

消息队列的两种模式：1、点对点模式：消费者主动拉取数据，消息收到后清除消息 2、发布/订阅模式 可以有多个topic主题（浏览、点赞、收藏、评论等）消费者消费数据之后，不删除数据 每个消费者相互独立都可以消费到数据。

Kafka基础架构:1、为方便扩展，并提高吞吐量，一个topic分为多个partition 2、配合分区设计，提出消费者组的概念，组内每个消费者并行消费 3、为提高可用性，为每个partition增加若干个副本，类似NameNode HA 4、ZK中记录谁是leader，Kafka2.8.0以后也可以配置不采用ZK

kafka生产者：

发送原理：在消息发送的过程中，涉及到了两个线程——main线程和Sender线程。在main线程中创建了一个双端队列。Main线程将消息发送给RecordAccumulator，Sender线程不断从RecordAccumulator中拉取消息发送到Kafka Broker。

Kafka分区的好处：1、便于合理使用存储资源，每个Partition在一个Broker上存储，可以把海量的数据按照分区切割成一块一块数据存储在多台Broker上。合理控制分区的任务，可以实现负载均衡的效果。2、提高并行度，生产者可以以分区为单位发送数据，消费者可以以分区为单位进行消费数据。

分区原则：