Kafka压缩算法
何时压缩
- 在producer端发送消息时压缩
- broker端在特殊情况也会压缩(应该尽量避免broker端的压缩)
-
- broker端和producer端配置的压缩算法不一样
- 消息的格式不一样
开启压缩需要在producer端配置compression.type参数
何时解压缩
- 在consumer端解压缩,Kafka会将使用的压缩算法封装进消息集合当中
- broker端也会进行解压缩,用来校验消息的可靠性
Producer端压缩,Broker端保持,Consumer端解压缩
使用
压缩算法有zstd,gzip,snappy等等
何时启用
- 保证Producer端的cpu资源充足
- 带宽不足的情况下,最好开启