kafka原理看这一篇就够了

为何使用消息队列

• 异步。接口方式实现多个系统协作，如图A系统作为用户请求接收方，需要调用多个系统的接口，这些接口还有可能是在A系统里同步调用，所以最后的接口耗时是多个系统接口耗时的总和；mq方式则可以异步发送消息给mq，mq再发送给其他多个系统，多个系统并行且异步的接收消息。当然，mq方式实现有一个前提是用户的请求不需要立即返回请求结果，例如用户发送一个查询请求就不适合mq方式。mq方式多用于传递事件，如发送优惠券、秒杀等。

• 削峰。用户的请求大部分都集中在固定的时间段，而在晚间凌晨或者用户使用低峰期基本没什么请求。所以mq的削峰就是为了将高峰期的请求泄洪一部分到低峰期。
• 解耦。接口方式发送消息，发送者调用接口，接收者提供接口，此时发送者作为消息生产者（如图中的A系统）作为主动的一方需要适配上游的各个类型的接口，它们的传输协议、参数、返回值等可能都不一样，同时各个接收方还不能拒收消息，这些都会带来极大的工作量；mq方式发送消息，消息发送者变成了上游，现在只需要将统一格式的消息发送给mq，由mq来控制消息的存储、容灾以及消息是否送达等。消息接收者则遵守消息的统一格式即可，如果不想接收消息可以取消订阅。这样就达到了生产者和消费者之间的解耦效果。

kafka的总体架构

• Producer：消息的生产者，即消息的入口。
• Broker：kafka的一个实例，一台kafka服务器上会有一个或多个实例。多台kafka服务构成了kafka的集群。
• Topic：消息的主题，生产者按照主题发送消息，消费者按照主题接收消息，一个Broker可以有多个主题。
• Partition：Topic的分区，一个Topic可以有多个分区，分区越多可以并行处理消息的能力越强。同一个Topic上的不同分区消息是不重复的，Partition的本质是文件夹。
• Replication：Partition的副本，副本用来做数据备份。副本分为主分区副本（Leader）和从分区副本（Follower），它们不能同时出现在一个Broker上。主分区副本负责消息的接收并写入，从分区副本不接收生产者发来的消息，它的唯一职责就是从主分区副本同步过来消息。当主分区副本挂掉的时候，会在从分区副本中选出一个新的Leader作为主分区副本。kafka中一个Par