kafka学习之概论

Kafka概述

Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。
Kafka是一个开源的分布式流平台（event streaming platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。

MQ传统应用场景之异步处理

使用消息队列的好处
1）解耦：允许你独立扩展或修改两边的处理过程，只要确保他们遵守同样的接口约束。
2）可恢复性：系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的京城挂掉，加入队列的消息仍然可以在系统恢复后被处理
3）缓冲：有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
4）灵活性&峰值处理能力：在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列就能够是关键组件顶住突发的访问发力，而不会因为突发的超负荷的请求而完全崩溃。
5）异步通信：很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户吧一个消息放入队列，但并不立即处理它。想向队列中放多少消息就放多少，然后就在需要的时候再去处理它们。

1.消息队列的两种模式
1）点对点模式（1对1，消费者主动拉去数，消息收取到后消息清除）
消息生产者生产消息发送到Queue中，然后消息消费者从Queue中取出并且消费信息。
信息被消费以后，queue中不在有存储，所以消费者不可能消费到已消费的信息。queue支持存在多个消费者，但是对一个消息而言，只会有一个消费者可以消费。

2）发布/订阅模式（一对多，消费者消费数据之后不会清除消息）
Kafka是发布订阅模式。消息生产者（发布）将消息发布到topic中，同时有多个消息消费者（订阅）消费该消息。和点对点方式不同，发布到topic的消息会被所有的订阅者消费。

3. Kafka的基础架构

1）Producer：消息生产者，就是想kafka broker发消息的客户端；
2）Consumer：消息消费者，就是想kafka broker取消息的客户端；
3）Consumer Group（CG）：消费者组，由多个Consumer组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能有一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者组是逻辑上的一个订阅者。
4）Broker：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic。
5）Topic：可以理解为一个队列，生产者和消费者面向的都是一个topic；
6）Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器上），一个topic可以分为多个partition，每个partition是一个有序的队列；
7）Replica：副本，为保证集群中的某个节点发生故障时，该节点上的partition数据不丢失，且kafka仍然能够继续正常工作，kafka提供了副本机制，一个topic的每个分区都有若干个副本，一个leader和若干个follower；
8）leader：每个分区多个副本的“主”，生产者发送数据的对象，以及消费者消费数据的对象都是leader；
9）follower：每个分区多个副本中的“从”，实时从leader中同步数据，保持leader数据的同步。leader发生故障时，某个follower会成为新的leader；