一探究竟，详解Kafka生产者和消费者的工作原理，字节跳动面试必问

最新推荐文章于 2024-02-24 07:00:00 发布

A余音袅袅

最新推荐文章于 2024-02-24 07:00:00 发布

阅读量407

点赞数

分类专栏：程序员文章标签： kafka 面试 java 后端

本文链接：https://blog.csdn.net/m0_61439198/article/details/120182892

版权

本文深入探讨Kafka的生产者和消费者工作原理，包括消息压缩机制、消息可靠性保障、幂等性与事务。重点阐述了Kafka的生产者确认机制、消费者确认机制以及副本策略，确保消息的不丢失和高可靠性。同时，介绍了如何通过配置启用幂等性和事务，以实现数据的精确一次处理。

摘要由CSDN通过智能技术生成

Kafka的消息压缩机制

kafka发送进行消息压缩有两个地方，分别是生产端压缩和Broker端压缩。

一般情况下压缩机制：在生产者端解压、Broker端保持、消费者端解压
Kafka 支持 4 种压缩算法：GZIP、Snappy 、LZ4，从 2.1.0 开始，Kafka 正式支持 Zstandard 算法（简写为 zstd）。
压缩机制本质上以消费者端CPU性能换取节省网络传输带宽以及Kafka Broker端的磁盘占用。

生产者端压缩生产者压缩通常采用的GZIP算法这样 Producer 启动后生产的每个消息集合都是经 GZIP 压缩过的，故而能很好地节省网络传输带宽以及 Kafka Broker 端的磁盘占用。配置参数：


<!-- 定义producer的参数 -->
    <bean id="producerProperties" class="java.util.HashMap">
        <constructor-arg>
            <map>
                <entry key="bootstrap.servers" value="127.0.0.1:9092"/>
                <!-- acks表示所有需同步返回确认的节点数，all或者‑1表示分区全部备份节点均需响应，可靠性最
                高，但吞吐量会相对降低；
                1表示只需分区leader节点响应；
                0表示无需等待服务端响应；
                大部分业务建议配置1，风控或安全建议配置0 -->
                <entry key="acks" value="1"/>
                <!-- retries表示重试次数，如果配置重试请保证消费端具有业务上幂等，根据业务需求配置  -->