Zstd-数据压缩组件

最新推荐文章于 2025-05-10 20:35:20 发布

攻城师先锋官

最新推荐文章于 2025-05-10 20:35:20 发布

阅读量9.1k

点赞数 2

分类专栏： java

本文链接：https://blog.csdn.net/java_zjh/article/details/85707503

版权

java 专栏收录该内容

7 篇文章

订阅专栏

Zstandard 简称Zstd，是一款快速实时的开源数据压缩程序，由Facebook开发，源码是用C语言编写的。相比业内其他压缩算法（如Gzip、Snappy、Zlib）它的特点是：当需要时，它可以将压缩速度交换为更高的压缩比率（压缩速度与压缩比率的权衡可以通过小增量来配置），反之亦

Zstd-jni

Zstd拥有丰富的API，几乎支持所有流行的编程语言，Zstd-jni 是Java中提供的API然。它具有小数据压缩的特殊模式，称为字典压缩，可以从任何提供的样本集中构建字典。

<dependency>

<groupId>com.github.luben</groupId>

<artifactId>zstd-jni</artifactId>

<version>VERSION</version>

</dependency>

/*
    序列化
 */
public static <T> byte[] serialize(T result) throws IOException {
    ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(512);
    try (OutputStream outputStream = new ZstdOutputStream(byteArrayOutputStream)) {
        // protostuff serialize
        ProtostuffSerializer.serialize(result, outputStream);
        return byteArrayOutputStream.toByteArray();
    }
}
 
/*
    反序列化
 */
public static <T> T deserialize(byte[] bytes, Class<T> clazz) throws IOException {
    ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
    try (InputStream inputStream = new ZstdInputStream(byteArrayInputStream)) {
        // protostuff deserialize
        return ProtostuffSerializer.deserialize(clazz, inputStream);
    }
}

ZstdDictTrainer zstdDictTrainer = new ZstdDictTrainer(1024 * 1024, 32 * 1024);
// fileInput is a sample file
zstdDictTrainer.addSample(fileInput);
byte[] dic = zstdDictTrainer.trainSamples(true);
  
/*
    Zstd's training model
 */
public static <T> byte[] serialize(T result) throws IOException {
    ByteArrayOutputStream byteArrayOutputStream = new ByteArrayOutputStream(512);
    try (ZstdOutputStream outputStream = new ZstdOutputStream(byteArrayOutputStream)) {
        if (dic != null) {
            outputStream.setDict(dic);
        }
        // protostuff serialize
        ProtostuffSerializer.serialize(result, outputStream);
        return byteArrayOutputStream.toByteArray();
    }
}
  
/*
    Zstd's training model
*/
public static <T> T deserialize(byte[] bytes, Class<T> clazz) throws IOException {
    ByteArrayInputStream byteArrayInputStream = new ByteArrayInputStream(bytes);
    try (ZstdInputStream inputStream = new ZstdInputStream(byteArrayInputStream)) {
        if (dic != null) {
            inputStream.setDict(dic);
        }
        // protostuff deserialize
        return ProtostuffSerializer.deserialize(clazz, inputStream);
    }
}

服务器：VM/4CPU i5-6500/CentOS 6

exp1: 4KB