m0_56017730的博客

由一个非常快的熵阶段，由 Huff0 和 FSE 库提供。这个项目是作为开源的 BSD 许可收费的库，以及一个生成和解码 .zst 格式。Zstd 还可以压缩速度为代价提供更强的压缩比，Speed vs Rtrade 可以通过小增量进行配置。在所有设置中，解压速度保持不变，并在所有 LZ压缩算法( 比如 zlib 或者lzma) 共享的属性中保持不变。以前的压缩方式，都是适用于典型文件和二进制的压缩方案( MB/GB)的情况。然而，要压缩的数据量越小，压缩就越困难。这是所有压缩算法都存在的问题，原因是压缩算法从过去的数据中学习如何压缩未来的数据。但是在一个新的数据集的开始，没有“过去”可以参考。 为了解决这种情况，Zstd 提供了一种新的训练模式，可以使用这种模式对所选数据类型的算法进行调优。训练 Zstandard 是通过提供一些样本(每个样本一个文件)来实现的，训练的结果存储在称为“字典”的文件中，该文件必须在压缩和解压缩之前加载。使用此字典，可以在小数据上实现的压缩率大大提高。