Zstd 压缩算法

Zstd 压缩算法

简介

最近维护一个老的缓存系统，使用RUST语音实现，底层使用磁盘缓存。因为人员离职，打算用JAVA/KOTLIN 重新实现一遍。

考虑到历史缓存数量比较大，采用灰度模式，复用历史缓存，只是程序改成JAVA版本。刚刚开始一切比较顺利，但是上线以后显示历史缓存错误，比如hash不一样。

仔细翻看历史代码，底部存储使用了一种叫做zstd的一种压缩算法，找找资料，发现这个还挺牛的，特记录下。

Zstd，全称 Zstandard，是 Facebook 于 2016 年开源的新无损压缩算法。与 zlib、lz4、xz 等当前流行的压缩算法不同，Zstd 寻求一种压缩性能与压缩率通吃的方案，而实际上它也确实做到了。在由官方所列出的表格中，可以看到，Zstd 不仅具备优秀的压缩性能，在压缩率上也有非常亮眼的表现。官方资料。

Zstd-jni

Zstd-jni，顾名思义，是基于 Zstd 本地库实现的 Java 调用接口。它支持通过 Java 语言实现 Zstd 的压缩与解压缩。

在 Zstd-jni 的三方包中，主要实现了以下功能：

• 提供静态的压缩与解压缩方法
• 支持压缩数据的流式传输
• 支持字典文件的训练与添加

代码示例

添加依赖

// https://github.com/luben/zstd-jni
implementation("com.github.luben:zstd-jni:1.4.9-5")