一探究竟，详解Kafka生产者和消费者的工作原理，字节跳动面试必问

Kafka的消息压缩机制

kafka发送进行消息压缩有两个地方，分别是生产端压缩和Broker端压缩。

• 一般情况下压缩机制：在生产者端解压、Broker端保持、消费者端解压

• Kafka 支持 4 种压缩算法：GZIP、Snappy 、LZ4，从 2.1.0 开始，Kafka 正式支持 Zstandard 算法（简写为 zstd）。

• 压缩机制本质上以消费者端CPU性能换取节省网络传输带宽以及Kafka Broker端的磁盘占用。

生产者端压缩 生产者压缩通常采用的GZIP算法这样 Producer 启动后生产的每个消息集合都是经 GZIP 压缩过的，故而能很好地节省网络传输带宽以及 Kafka Broker 端的磁盘占用。 配置参数：

<!-- 定义producer的参数 -->
    <bean id="producerProperties" class="java.util.HashMap">
        <constructor-arg>
            <map>
                <entry key="bootstrap.servers" value="127.0.0.1:9092"/>
                <!-- acks表示所有需同步返回确认的节点数，all或者‑1表示分区全部备份节点均需响应，可靠性最
                高，但吞吐量会相对降低；
                1表示只需分区leader节点响应；
                0表示无需等待服务端响应；
                大部分业务建议配置1，风控或安全建议配置0 -->
                <entry key="acks" value="1"/>
                <!-- retries表示重试次数，如果配置重试请保证消费端具有业务上幂等，根据业务需求配置  -->