kafka系列7——第2章2——消息发送原理

最新推荐文章于 2024-09-26 18:00:52 发布

Ethan Yankang

最新推荐文章于 2024-09-26 18:00:52 发布

阅读量765

点赞数 20

文章标签： kafka 分布式

本文链接：https://blog.csdn.net/m0_68657832/article/details/141287260

版权

🌈hello，你好鸭，我是Ethan，西安电子科技大学大三在读，很高兴你能来阅读。

✔️目前博客主要更新Java系列、项目案例、计算机必学四件套等。
🏃人生之义，在于追求，不在成败，勤通大道。加油呀！

🔥个人主页：Ethan Yankang
🔥推荐：史上最强八股文||一分钟看完我的几百篇博客

🔥温馨提示：划到文末发现专栏彩蛋点击这里直接传送

🔥本篇概览：详细讲解了kafka系列7——第2章2——消息发送原理。🌈⭕🔥

【计算机领域一切迷惑的源头都是基本概念的模糊，算法除外】

🔥 微服务全集

🔥 kafka全集

🔥 前一篇章

🌈引出

Apache的kafka是一个分布式的消息发布订阅中间件。具有高吞吐、可扩展和容错性等特点。主要用于处理大规模的流式数据。

本博客从各个方面详细讲解了kafka的机制，并实际上手使用之，好好学完定会习得大功。（bushi，上一次面试就噶在kafka上了，好好对待之。）

0.消息发送流程图

1.消息发送原理

消息发送的过程中，涉及到两个线程协同工作——

主线程 首先将业务数据封装成 ProducerRecord 对象，之后调用send() 方法将消息放入 RecordAccumulator( 消息收集器，也可以理解为主线程与 Sender 线程直接的缓冲区) 中暂存。

Sender线程 负责将消息信息构成请求，并最终执行网络 I/O 的线程，它从 RecordAccumulator中取出消息并批量发送出去 ，需要注意的是， KafkaProducer是线程安全的[Properties类]，多个线程间可以共享使用同一个KafkaProducer对象。

2.其他生产者参数

之前提及的默认三个客户端参数，大部分参数都有合理的默认值，一般情况下不需要修改它们

2.3.1 acks

这个参数用来 指定分区中必须有多少个副本收到这条消息，之后生产者才会认为这条消息时写入成功 的。 acks是生产者客户端中非常重要的一个参数，它涉及到消息的可靠性和吞吐量之间的权衡。

ack=0， 生产者在成功写入消息之前不会等待任何来自服务器的响应。如果出现问题生产者是感知不到的，消息就丢失了。不过因为生产者不需要等待服务器[Broker]响应， 所以它可以以网络能够支持的最大速度发送消息，从而达到很高的吞吐量。

ack=1，默认值为1 ，只要集群的首领节点收到消息，生产这就会收到一个来自服务器的成功响应。如果消息无法达到首领节点（比如首领节点崩溃，新的首领还没有被选举出来），生产者会收到一个错误响应，为了避免数据丢失，生产者会重发消息。但是，这样还有可能会导致数据丢失，如果收到写成功通知，此时首领节点还没来的及同步数据到follower 节点，首领节点崩溃，就会导致数据丢失。

ack= -1 ，只有当所有参与复制的节点都收到消息时，生产这会收到一个来自服务器的成功响应，这种模式是最安全的，它可以保证不止一个服务器收到消息。

注意： acks 参数配置的是一个字符串类型，而不是整数类型，如果配置为整数类型会抛出以下异常

2.3.2 retries

生产者从服务器收到的错误有可能是临时性的错误（比如分区找不到首领）。在这种情况下，如果达到了 retires 设置的次数 ，生产者会放弃重试并返回错误。默认情况下，生产者会在每次重试之间等待100ms，可以通过 retry.backoff.ms 参数来修改这个时间间隔。

2.3.3 batch.size

当有多个消息要被发送到同一个分区时，生产者会把它们放在同一个批次里。该参数指定了一个批次可以使用的内存大小 ，按照字节数计算，而不是消息个数。当批次被填满，批次里的所有消息会被发送出去。不过生产者并不一定都会等到批次被填满才发送，半满的批次，甚至只包含一个消息的批次也可能被发送。所以就算把 batch.size 设置的很大，也不会造成延迟，只会占用更多的内存而已，如果设置的太小，生产者会因为频繁发送消息而增加一些额外的开销。