Kafka学习笔记

最新推荐文章于 2024-10-31 23:35:56 发布

雨声残响丶

最新推荐文章于 2024-10-31 23:35:56 发布

阅读量216

点赞数

文章标签： kafka 学习笔记

本文链接：https://blog.csdn.net/qq_19903753/article/details/102466659

版权

Kafka学习笔记

Kafka是啥？

Kafka是分布式消息队列，是用来存放消息用的，在客户端之间起到一个媒介的作用，Kafka是点对点的消息队列。

消息队列有两种模式：

点对点模式

这个模式是一对一的，消费者主动拉取数据。这个模式是由消费者主动向消息队列拉取消息，比较像生活中我们（消费者）借别人的笔记去抄的时候，我们主动从笔记本（消息队列）中找到我们需要的消息去抄写。所以这个模式的特点是发送到队列的消息被一个且只有一个接收者接收处理，即使有多个消息监听者也是如此，并且需要每一个消费者都有一个单独的线程去管理消费者与消息队列的连线（消息队列中是否有我们要拿的消息呀，传送的速率啊之类的）。
发布/订阅模式

这个模式是一对多的，消息队列会主动将消息推送给所有订阅者。这个模式比较像我们微信中订阅的公众号，我们可以选择不接收公众号的消息，也可以选择接收公众号的消息。发布订阅模式可以有多种不同的订阅者，临时订阅者只在主动监听主题时才接收消息，而持久订阅者则监听主题的所有消息，即使当前订阅者不可用，处于离线状态。这个模式有一点限制在于，不知道消息队列和它的订阅者们的传输速率，要是消息队列的传输速率有8M/s，但是它的订阅者接收速率只有5M/s，那么就会出问题，因为消息队列的传输速率是统一的。

Kafka有啥用？

解耦

减少甚至取消了生产者和消费者之间的消息传输，而是用了一个中间件去保存消息、传输消息。
冗余

消息队列会保存消息直到它们被使用完毕，所以在一定程度上避免了数据丢失的风险，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。
扩展性

因为消息队列解耦了你的处理过程，所以增大消息入队和处理的频率是很容易的，只要另外增加处理过程即可。
灵活性 & 峰值处理能力

在访问量剧增的情况下，应用仍然需要继续发挥作用，但是这样的突发流量并不常见。如果为以能处理这类峰值访问为标准来投入资源随时待命无疑是巨大的浪费。使用消息队列能够使关键组件顶住突发的访问压力，而不会因为突发的超负荷的请求而完全崩溃。
可恢复性

系统的一部分组件失效时，不会影响到整个系统。消息队列降低了进程间的耦合度，所以即使一个处理消息的进程挂掉，加入队列中的消息仍然可以在系统恢复后被处理。
顺序保证

在大多使用场景下，数据处理的顺序都很重要。大部分消息队列本来就是排序的，并且能保证数据会按照特定的顺序来处理。（Kafka保证一个Partition内的消息的有序性）
缓冲

有助于控制和优化数据流经过系统的速度，解决生产消息和消费消息的处理速度不一致的情况。
异步通信

很多时候，用户不想也不需要立即处理消息。消息队列提供了异步处理机制，允许用户把一个消息放入队列，但并不立即处理它。想向队列中放入多少消息就放多少，然后在需要的时候再去处理它们。

Kafka用在哪里？

日志收集：一个公司可以用Kafka可以收集各种服务的log，通过kafka以统一接口服务的方式开放给各种consumer；
消息系统：解耦生产者和消费者、缓存消息等；
用户活动跟踪：kafka经常被用来记录web用户或者app用户的各种活动，如浏览网页、搜索、点击等活动，这些活动信息被各个服务器发布到kafka的topic中，然后消费者通过订阅这些topic来做实时的监控分析，亦可保存到数据库；
运营指标：kafka也经常用来记录运营监控数据。包括收集各种分布式应用的数据，生产各种操作的集中反馈，比如报警和报告；
流式处理：比如spark streaming和storm。

Kafka的优点和缺点是什么？

优点

将生产者与消费者解耦；
保存消息，作用类似缓存，在一些情况下是可以回复数据的；
增加服务器稳定性，当一台机器挂掉[宕机]，还可以从其他的机器上找到消息备份[集群]，不怕消息丢失（ leader 和 follower ）；
经过参数优化配置，消息可以做到0丢失;
延迟在ms级以内，时效性非常好。

缺点

当 topic 数量从几十个到几百个的时候，吞吐量会大幅度下降，如果要支撑大规模 topic ，需要增加更多的机器资源。

Kafka的架构

Kafka整体架构图
Kafka的详细架构图

Producer ：消息生产者，就是向kafka broker发消息的客户端；
Consumer ：消息消费者，向kafka broker取消息的客户端；
Topic ：可以理解为一个队列；
Consumer Group （CG）：这是kafka用来实现一个topic消息的广播（发给所有的consumer）和单播（发给任意一个consumer）的手段。一个topic可以有多个CG。topic的消息会复制（不是真的复制，是概念上的）到所有的CG，但每个partion只会把消息发给该CG中的一个consumer。如果需要实现广播，只要每个consumer有一个独立的CG就可以了。要实现单播只要所有的consumer在同一个CG。用CG还可以将consumer进行自由的分组而不需要多次发送消息到不同的topic；
Broker ：一台kafka服务器就是一个broker。一个集群由多个broker组成。一个broker可以容纳多个topic；
Partition：为了实现扩展性，一个非常大的topic可以分布到多个broker（即服务器）上，一个topic可以分为多个partition，每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id（offset）。kafka只保证按一个partition中的顺序将消息发给consumer，不保证一个topic的整体（多个partition间）的顺序；
Offset：kafka的存储文件都是按照offset.kafka来命名，用offset做名字的好处是方便查找。例如你想找位于2049的位置，只要找到2048.kafka的文件即可。当然the first offset就是00000000000.kafka。

注意：

同一个消费者组里的消费者们，在一个时间点，只能由一个消费者去接收同一个topic中的同一个partition内的消息；
follower是用来做消息备份用的，所以在不同的broker上，当leader所在的broker挂掉，那么我们可以设置follower变为leader，增加了稳定性；
一个消费者可以接收不同topic的消息；
Offset是这么用的：简单的来说就是一条消息对应一个offset下标，每次消费数据的时候如果提交offset，那么下次消费就会从提交的offset加一那里开始消费，比如一个topic中有100条数据，我消费了50条并且提交了，那么此时的kafka服务端记录提交的offset就是49(offset从0开始)，那么下次消费的时候offset就从50开始消费。

Kafka工作流程分析

生产消息

producer通过push的方式将消息发送到broker，每条消息都会被append到分区中，并且是顺序写入磁盘的，这样会让数据的吞吐速度很快。

如何写入分区（Partition）？

当数据写入分区的时候，是按顺序进入分区的，并且每一条数据都被赋予了一个offset值。

为什么需要分区呢？

将topic进行分区后，在每个broker上可以自己设定分区的大小，这样根据不同broker设置不同大小的分区，就可以灵活的调节存储容量；
设定这么多分区后，我们可以按分区为单位去读写，这样可以提高并发。

副本（Replication）有啥用？

副本所在的分区是follower，主要用来保存数据，并且在leader分区所在的broker宕机后，可以变成leader继续使用，同一个partition可能会有多个replication（对应 server.properties 配置中default.replication.factor=N）。没有replication的情况下，一旦broker 宕机，其上所有 patition 的数据都不可被消费，同时producer也不能再将数据存于其上的patition。引入replication之后，同一个partition可能会有多个replication，而这时需要在这些replication之间选出一个leader，producer和consumer只与这个leader交互，其它replication作为follower从leader 中复制数据。

数据写入的流程

这个地方需要提到一个设置：ACK值：

当ACK=0时

生产者在写入数据的时候，是不需要管leader分区和其他follwer分区有没有收到并保存由生产者写入的数据的，这样就速度很快，完全异步，生产者不需要等待，只管发就完事了。所以它的优点是速度快，比ACK等于All时要快10倍，缺点是容易造成数据的丢失，要是生产者发送数据，但是leader没有收到，这时候服务器宕机了，那数据就完全丢失了。
当ACK=1时

和ACK=0相比，ACK=1意味着生产者写入数据后，需要等待leader分区保存完数据并且返回给生产者ACK信号，生产者收到信号后才能继续写入下一个数据。所以当ACK=1，数据丢失的概率会小一点，速度相较于ACK=0会慢一点。
当ACK=All时

顾名思义，生产者需要等待所有分区（leader和所有follower）都完成数据的保存，并且收到他们的ACK信息后才能继续发送消息。所以当ACK=All，数据不会丢失，但是速度会比较满。

生产者写入流程如下：

producer先从zookeeper的 "/brokers/…/state"节点找到该partition的leader
producer将消息发送给该leader
leader将消息写入本地log
followers从leader pull消息，写入本地log后向leader发送ACK
leader收到所有ISR中的replication的ACK后，增加HW（high watermark，最后commit 的offset）并向producer发送ACK

Broker 保存消息

储存方式

物理上把topic分成一个或多个patition（对应 server.properties 中的num.partitions=3配置），每个patition物理上对应一个文件夹（该文件夹存储该patition的所有消息和索引文件），如下：

[atguigu@hadoop102 logs]$ ll
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:37 first-0
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:35 first-1
drwxrwxr-x. 2 atguigu atguigu  4096 8月   6 14:37 first-2
[atguigu@hadoop102 logs]$ cd first-0
[atguigu@hadoop102 first-0]$ ll
-rw-rw-r--. 1 atguigu atguigu 10485760 8月   6 14:33 00000000000000000000.index
-rw-rw-r--. 1 atguigu atguigu      219 8月   6 15:07 00000000000000000000.log
-rw-rw-r--. 1 atguigu atguigu 10485756 8月   6 14:33 00000000000000000000.timeindex
-rw-rw-r--. 1 atguigu atguigu        8 8月   6 14:37 leader-epoch-checkpoint

在00000000000000000000.log文件里面，有很多详情信息。

存储策略

无论消息是否被消费，kafka都会保留所有消息。有两种策略可以删除旧数据：

基于时间：log.retention.hours=168 7天
基于大小：log.retention.bytes=1073741824 1GB

需要注意的是，因为Kafka读取特定消息的时间复杂度为O(1)，即与文件大小无关，所以这里删除过期文件与提高 Kafka 性能无关。

zookeeper储存结构

在这里插入图片描述
注意：producer不在zk中注册，消费者在zk中注册。

消费消息

kafka提供了两套consumer API：高级Consumer API和低级Consumer API。

高级API

优点：

写起来简单，不需要自己去设定offset，系统通过zookeeper自动管理；
不需要管理分区，副本等情况，系统自动管理。

缺点：

不能自行控制offset（对于某些特殊需求来说）；
不能细化控制如分区、副本、zk等。

低级API

优点：

能够让开发者自己控制offset，想从哪里读取就从哪里读取；
自行控制连接分区，对分区自定义进行负载均衡；
对zookeeper的依赖性降低（如：offset不一定非要靠zk存储，自行存储offset即可，比如存在文件或者内存中）。

缺点：

太过复杂，需要自行控制offset，连接哪个分区，找到分区leader 等。

消费者组

在这里插入图片描述
消费者是以consumer group消费者组的方式工作，由一个或者多个消费者组成一个组，共同消费一个topic。每个分区在同一时间只能由group中的一个消费者读取，但是多个group可以同时消费这个partition。在图中，有一个由三个消费者组成的group，有一个消费者读取主题中的两个分区，另外两个分别读取一个分区。某个消费者读取某个分区，也可以叫做某个消费者是某个分区的拥有者。