Python gzip/bzip2/zlib/lz4/snappy压缩对比

最新推荐文章于 2024-08-01 18:22:01 发布

anddyhua

最新推荐文章于 2024-08-01 18:22:01 发布

阅读量1k

点赞数

分类专栏： Note for Python

本文链接：https://blog.csdn.net/anddyhua/article/details/116532013

版权

本文通过Python脚本测试了LZ4、Gzip和Snappy三种压缩算法的性能。结果显示，LZ4在压缩比、吞吐量和带宽上均优于Gzip和Snappy，而Snappy在压缩时消耗更多CPU资源，Gzip在解压时消耗更多。

摘要由CSDN通过智能技术生成

一个简单的 Python脚本去测试压缩性能。

from functools import wraps
import time
import os
import gzip
import bz2
import zipfile
import zlib
import snappy
import lz4.frame
import os
from memory_profiler import profile

def print_run_time(fun):
    @wraps(fun)
    def run_time(*args, **kwargs):
        print("==================== Start... ====================")
        #t_s = time.clock()
        t_s = time.perf_counter()
        #@profile(precision=4)
        res = fun(*args, **kwargs)
        t_e = time.perf_counter()
        print("Total running time: %s s." % (str(t_e - t_s)))
        print("==================== End. ========================")

        return res

    return run_time


div = 1024 * 1024 * 1024
raw_bag = "aaa.bag"

compressed_bag = {
   
    "gzip": raw_bag + ".gz",
    "bzip2": raw_bag + ".bz2",