7z压缩 lzma流式压缩、解压缩的实现 C语言

已于 2022-08-12 14:42:47 修改
阅读量5.9k 收藏 15
点赞数 2
文章标签： 物联网 c语言 单片机
于 2022-07-25 15:13:01 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44857682/article/details/125975500
版权

最近项目中遇到OTA固件升级，压缩由上位机实现，解压缩在boot启动时，读取固件内容后边解压边加载数据的方式启动。
前期预研了三种压缩方案，分别是lz4、zip、7z，代码仓库放在下面，三者各自的原理可自行百度了解。

一、lzma的使用

由于项目中要求对所升级的固件压缩比的最大化，因此选择了7z中的lzma算法，版本为1900
在这里插入图片描述
LzmaUtil.c文件中完整实现了针对一个流式文件的压缩以及解压缩。实验环境为Ubuntu20.04。

  1. 编译
    修改Lzma文件夹下的makefile.gcc，将编译器修改为gcc。在当前目录下输入make -f makefile.gcc 编译生成lzma可执行文件
PROG = lzma
CXX = gcc
LIB =
RM = rm -f
CFLAGS = -c -O2 -Wall -D_7ZIP_ST

  1. 压缩
    ./lzma e *要压缩的文件* *目标文件* 第二个参数（e）不区分大小写

    ./lzma e makefile.gcc makefile_compr

  2. 解压
    ./lzma d *要解压的文件* *目标文件* 同样，第二个参数不区分大小写

    ./lzma d makefile_compr makefile_decompr

解压后可以对比makefile_decompr与原始文件makefile.gcc内容是否一致

二、lzma的深入理解
  1. lzma压缩文件的特征
Offset Size Description
  0     1   Special LZMA properties (lc,lp, pb in encoded form)
  1     4   Dictionary size (little endian)
  5     8   Uncompressed size <
最低0.47元/天 解锁文章
掉牙的兔子
关注
  • 2
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
c语言lzma算法,C语言编程使用lzma SDK对7z文件简略解压缩
weixin_39880895的博客
05-25 823
有时候我们只需要单纯对lzma算法压缩的7z文件进行解压，有时需要在嵌入式设备上解压，使用p7zip虽然支持多种格式，但是不容易裁剪，使用lzma SDK是首选：可以在这里找到各种版本：http://zh.sourceforge.jp/projects/sfnet_sevenzip/releases/我下载了4.65版本，这个对文件名编码支持没有9.20的好，中文可能有问题，但是我的需求不需要支持...
LZMA简易C代码，调用简单
07-20
前天整合KJAVA的LZMA到C， 从LZMA开源代码里找比较麻烦，自己移植了。效果还可以。 调用一个方法直接出数据了
C语言编程使用lzma SDK对7z文件简单解压缩
08-07
NULL 博文链接：https://hzy3774.iteye.com/blog/2104510
2024年Python最全Python — lzma压缩__lzma(1)，面试必备物品
2401_84140384的博客
05-09 345
1、接口1lzma中提供了一个借口，专门用来访问压缩文件：lzma.open(filename, mode=“rb”)(1).filename参数，通常是一个字符串表示的文件路径更多Python视频、源码、资料加群683380553免费获取2、例子1(1).创建压缩文件(2).读取压缩文件除了直接读取意外，我们还可以使用一个解压缩软件来解压缩我们创建的文件然后使用文本编辑器打开我们解压的软件，看看编码是不是正确3、接口2该函数可以压缩数据（字节对象），反悔一个数据被压缩的字节二进制对象。
lzma压缩算法源 c 代码
07-08
lzma c源代码实现
lzma算法分析
老金的博客
07-31 3019
lzma算法分析 这几天在公司主要在做压缩相关，记录一下所得。 目前业界主流的压缩算法感觉并不多，好用的就Huffman，lz系列，其他的像差分编码，vlq编码，感觉只能做个数据预处理，或者一种小范围的压缩。 lz系列有很多，主要有lz77 lz78 lzma，基本思想是一样的，都是一种字典编码，如，我有一段文本，里面有“abcdefgabcde”,那么后面的abcde并没有必要，可以用前面的替代，所以，其实可存储为“abcdefg65”,6代表offset，5代表length，既用距离当前位置6字节，长度
Easylzma：轻量级LZMA压缩解压库，打造高效数据处理解决方案
gitblog_00094的博客
06-22 803
Easylzma：轻量级LZMA压缩解压库，打造高效数据处理解决方案 项目地址:https://gitcode.com/lloyd/easylzma 项目介绍 Easylzma是一个简约而不简单的C语言编写的LZMA压缩与解压缩库，它围绕着Igor Pavlov的公共领域贡献的LZMA实现构建，并配以简洁的命令行工具。这个项目旨在提供一个轻量化、易于集成的C接口，支持多种LZMA文件格式，确保在多...
7z 常用压缩与解压缩命令
热门推荐
HelloKandy's Blog
09-25 3万+
主页：http://www.7-zip.org/ 支持格式： 压缩 / 解压缩： 7z, XZ, BZIP2, GZIP, TAR, ZIP 仅解压缩： ARJ, CAB, CHM, CPIO, DEB, DMG, FAT, HFS, ISO, LZH, LZMA, MBR, MSI, NSIS, NTFS, RAR, RPM, UDF, VHD, WIM, XAR, Z 7-Zip 支持和 Windows 相类似的通配符： “”可以使用星号代替零个或多个字符。 “?”可以用问号代替名称中的单个字符。
java 7z压缩算法_7z压缩
weixin_39594312的博客
03-06 871
什么是7z一种文件压缩格式，具有高压缩比率，进行数据压缩有多种压缩算法可以选择。与其它压缩格式相比，得到的压缩文档较小，即压缩率最高，节省磁盘空间。7-Zip下载地址http://www.7-zip.org/完全免费而且开源的压缩软件，相比其他软件有更高的压缩比但同时耗费的资源也相对更多。支持压缩/ 解压缩：7z, XZ, BZIP2, GZIP, TAR, ZIP,WIM,另外使用。7-Zip压...
LZMA解压缩编码算法的使用
Superstarimage
06-01 4454
目录 一、简介 二、使用方法 1.准备库文件 2.开始编码 三、总结 一、简介 博主在项目中遇到了帧数据流解压缩编码的功能需求，在这里对所采用的解压缩编码算法LZMA的背景、性能和使用介绍作一下简介，主要的目的是积累经验，其次是帮助其他有同样需求的同学少走弯路，分享心得。 lzma算法是7z解压缩软件的默认算法，经过博主的查阅资料与测试，主要发现，与其他算法相比较，lzma算法具有很低的压缩率（压缩数据/原始数据），但是解压缩编码的速度很慢。所以如果你对解压缩的时间没有任何要求，可以尝试这种
7z解压缩java代码+工具
07-26
本主题聚焦于“7z解压缩java代码+工具”，它涉及到使用Java编程语言实现对7z、tar、gz等压缩格式的支持。下面我们将深入探讨相关知识点。 首先，7z是一种高效的压缩格式，由7-Zip软件创建，它提供了比常见的ZIP或...
7Z 解压缩文件方便快捷
07-27
7-Zip 支持多种压缩格式，包括但不限于7Z、ZIP、GZIP、BZIP2、TAR等，而且它还能够读取和提取RAR、CAB、ISO、ARJ、LZH、CHM、WIM、Z、TAZ、LZMA、7Z、XZ、TB2、TBZ、TBZ2、TZ等众多其他格式的文件。7Z格式自身采用...
压缩工具.7z 文件压缩小公举
01-11
总的来说，"压缩工具.7z 文件压缩小公举"很可能是一个集成了7z压缩格式和各种实用功能的压缩工具，旨在为用户提供简单高效的数据压缩解决方案。对于个人用户而言，这样的工具可以帮助节省存储空间，方便文件分享；...
7Z文件一键批量压缩批处理
03-09
7Z格式使用LZMA（Lempel-Ziv-Markov chain algorithm）压缩算法，压缩率通常优于ZIP和RAR格式。此外，7-Zip还提供了命令行版本，便于在批处理脚本中调用，实现自动化操作。 为了更好地理解和使用这个批处理方案，你...
嵌入式移植7Z解压缩（纯C）
wangshuchao0的专栏
04-29 458
本文分享一个纯C语言编写的7Z解压缩代码库，本代码库的主要目的是在嵌入式环境下使用7z解压缩文件，可以将升级包通过7z进行压缩，然后发送给设备，减小和设备传输过程中的文件大小，进而达到传输大文件的目的。链接: https://pan.baidu.com/s/1ldjyd3l4zyC9AOw8-ox67g 提取码: pi4t。这个库是单线程的，移除了多线程代码，因为多线程依赖其他库。我只需要一个独立版本。这个库使用的是19版本的库，
Python实现压缩功能：LZ77编码和lzma模块
微小冷的学习笔记
01-18 1823
Python标准库总共提供了三种压缩算法，分别是`zlib`, `bz2`以及`lzma`，并且位这三个模块提供了高度相似的API，考虑到`zlib`中已经对很多定义做了详尽的解读，本文主要介绍一下`lzma`的核心编码方案，然后对常用的函数做一个示例。
开源物联网网关ThingsBoard IoT Gateway
最新发布
bit_mike的博客
07-23 325
前几天测试了Neuron，这是一个令人印象深刻的平台，不过它不能算是完全免费的平台，因为它还是有商业许可要求的，挺贵的，大几万的，而且它有走向闭源的趋势。所以也在寻找它的替代方案。它的北向只能通过MQTT进行连接，主要是了解到Thingsboard平台。南向可以连接到各种接口。网关具有存储的能力，这是和Neuron显著的不同。
【IoTDB 线上小课 05】时序数据文件 TsFile 三问“解密”！
qin_DB的博客
07-22 273
数据文件 TsFile 全面科普！
C语言编程使用lzma SDK对7z文件简略解压缩
06-13
使用LZMA SDK对7z文件进行解压缩，需要先了解7z文件的结构。7z文件实际上是一个压缩文件，其中包含多个压缩数据块和一个头文件，头文件中包含了每个压缩数据块的信息。因此，我们需要先读取头文件，然后逐个解压数据块。 以下是一个简略的C语言例程，用于对7z文件进行解压缩： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <lzma.h> #define LZMA_PROPERTIES_SIZE 5 int main(int argc, char *argv[]) { if (argc < 3) { printf("Usage: %s input_file output_dir\n", argv[0]); return 1; } char *input_filename = argv[1]; char *output_dirname = argv[2]; // 打开输入文件 FILE *input_file = fopen(input_filename, "rb"); if (input_file == NULL) { printf("Error: Failed to open input file.\n"); return 1; } // 读取7z头文件 uint8_t header[32]; if (fread(header, 1, 32, input_file) != 32) { printf("Error: Failed to read 7z header.\n"); fclose(input_file); return 1; } // 验证7z头文件 if (memcmp(header, "\x37\x7A\xBC\xAF\x27\x1C", 6) != 0) { printf("Error: Invalid 7z header.\n"); fclose(input_file); return 1; } // 获取7z头文件信息 uint8_t properties[LZMA_PROPERTIES_SIZE]; uint64_t header_size; lzma_stream_flags flags; memcpy(properties, header + 6, LZMA_PROPERTIES_SIZE); header_size = *(uint64_t *)(header + 13); flags = *(lzma_stream_flags *)(header + 21); // 初始化LZMA解压缩器 lzma_stream lzma_strm = LZMA_STREAM_INIT; lzma_ret ret = lzma_stream_decoder(&lzma_strm, UINT64_MAX, LZMA_CONCATENATED); if (ret != LZMA_OK) { printf("Error: Failed to initialize LZMA decoder.\n"); fclose(input_file); return 1; } // 创建输出目录 char output_filename[256]; sprintf(output_filename, "%s/", output_dirname); mkdir(output_filename, 0777); // 分配输入输出缓冲区 uint8_t *input_buf = malloc(flags.dict_size); uint8_t *output_buf = malloc(LZMA_BUFLEN); if (input_buf == NULL || output_buf == NULL) { printf("Error: Failed to allocate memory.\n"); free(input_buf); free(output_buf); lzma_end(&lzma_strm); fclose(input_file); return 1; } // 解压缩数据块 uint64_t offset = header_size; uint64_t uncompressed_size = 0; while (1) { // 读取数据块头信息 uint8_t block_header[17]; if (fread(block_header, 1, 17, input_file) != 17) { printf("Error: Failed to read block header.\n"); break; } // 获取数据块信息 uint64_t block_size = *(uint64_t *)(block_header + 1); uint8_t block_type = block_header[9]; // 设置LZMA输入缓冲区 lzma_strm.next_in = input_buf; lzma_strm.avail_in = block_size; // 设置LZMA输出缓冲区 lzma_strm.next_out = output_buf; lzma_strm.avail_out = LZMA_BUFLEN; // 解压数据块 while (1) { ret = lzma_code(&lzma_strm, LZMA_RUN); if (ret != LZMA_OK && ret != LZMA_STREAM_END) { printf("Error: Failed to decode LZMA data.\n"); free(input_buf); free(output_buf); lzma_end(&lzma_strm); fclose(input_file); return 1; } fwrite(output_buf, 1, lzma_strm.next_out - output_buf, output_file); lzma_strm.next_out = output_buf; lzma_strm.avail_out = LZMA_BUFLEN; if (ret == LZMA_STREAM_END) { break; } } // 更新偏移量和解压缩大小 offset += block_size + 17; uncompressed_size += *(uint64_t *)(block_header + 10); // 如果解压缩大小等于文件大小，则说明解压缩完成 if (uncompressed_size >= flags.uncompressed_size) { break; } } // 释放资源 free(input_buf); free(output_buf); lzma_end(&lzma_strm); fclose(input_file); printf("Done.\n"); return 0; } ``` 这个例程通过LZMA SDK提供的API实现了7z文件的解压缩功能。在解压缩过程中，我们需要先读取7z头文件，然后逐个解压缩数据块。在解压缩数据块时，我们需要先读取数据块头信息，然后设置LZMA输入输出缓冲区，调用`lzma_code`函数解压缩数据，最后写入输出文件。在解压缩完成后，我们需要调用`lzma_end`函数释放资源。 注意：这个例程仅适用于对单个7z文件进行解压缩。如果需要解压缩多个7z文件，需要先读取7z头文件，然后逐个解压缩7z文件中的数据块。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值