【博学谷学习记录】超强总结，用心分享 | 狂野大数据-kafka学习分享

---

前言

1. 消息队列的基本介绍：
消息: 数据 只不过这个数据具有流动的状态

队列: 存储数据的容器, 只不过这个容器具有FIFO(先进先出)特性

消息队列: 数据在队列中, 从队列的一端传递到另一端的过程, 数据在整个队列中产生了一种流动状态

2. 消息队列的作用

• 同步操作装换为异步操作
• 应用的解耦合
• 流量削峰
• 消息驱动系统

3. 消息队列的两种消费模式
在java中，提供了消息队列的协议：JMS（java Message Server）Java消息服务，sun公司系统需哦有的消息队列支持客户端的额时候，都按照JMS协议规范制定客户端（类似于提供JDBC协议）

• 点对点：数据被生产到容器后，最终这个数据只能被一个消费者来消费数据
• 发布订阅：数据被生产到容器后，可以被多个消费者所消费

---

一、kafka的基本介绍

  kafka是Apache旗下的一款开源免费的消息队列的中间件产品 最早是有领英公司开发的, 后期贡献给Apache, 目前也是Apache旗下的顶级开源项目. 采用的语言为scala, Kafka2依然要依赖于zookeeper的
官方网站: https://www.kafka.apache.org

二、kafka的集群架构

三、kafka的核心机制

3.1 Topic的分片和副本机制

分片：
分片是一个逻辑概念，Topic本身就是一个逻辑容器，相当于将一个Topic（大容器）拆分为多个小容器。
目的:

• 提高读写效率（分片分布在不同的节点上，在进行读写的时候可以让多个节点同时参与）
• 分布式存储（解决了单台节点存储容量有限的问题）

分片的数量设置理论上没有限制

副本：
副本: 物理的概念
针对每个分片的数据, 可以设置备份, 可以将其备份多个

目的:
提高数据的可靠性, 防止数据丢失

副本的数量: 副本的数量最多和集群节点数量保持一致, 但是一般设置为 2个 或者 3个

3.2. Kafka如何保证数据不丢失

3.2.1. 生产端保证数据不丢失

当生产者将数据生产到Broker后, Broker应该给予一个ack确认响应,在Kafka中, 主要提供了三种ack的方案:

ack=0: 生产者只管发送数据, 不关心不接收broker给予的响应

ack=1: 生产者将数据发送到Broker端, 需要等待Broker端对应的topic上的对应的分片的主副本接收到消息后, 才认为发送成功了

ack=-1(ALL): 生产者将数据发送到Broker端, 需要等待Broker端对应的topic上的对应的分片的所有的副本接收到消息后, 才认为发送成功了

效率角度: 0 > 1 > -1
安全角度: -1 > 1 > 0

在实际使用中, 三种方案都有可能被使用， 一般要根据消息的重要程度, 来选择采用什么方案, 如果数据非常的重要, 不能丢失, 一般设置为 -1

3.2.3. Broker端如何保证数据不丢失

第一步:

• 当Consumer启动后, 连接Kafka集群, 根据group.id 到Kafka中寻找上一次消费到了什么位置(偏移量)

第二步:

• 如果consumer找到了上次消费位置, 接着从这个位置开始消费数据

• 如果没有找到上一次消费的位置, 说明第一次来, 这个时候默认从当前时刻开始消费数据, 消费的位置也会从当前这个消息的偏移量位置开始消费

第三步:

• 消费者开始消费数据, 在消费的过程中, 每消费完数据后, 都要和kafka集群进行汇报, 汇报当前消费到了那一个偏移量信息

注意：在 0.8.x版本之前, 消费者的消息偏移量信息是被记录在zookeeper中
在 0.8.x版本之后, 将消费者的消息偏移量信息记录在kafka集群上, 通过一个topic来记录: __consumer_offsets

---

总结

Kafka是一个消息队里中间件，他的消费模式只有发布、订阅，没有特定的点对点消费模式，但如果将将消费者全部放入一个group中，也就达到了点对点消费的效果。