利用 API 实现数据压缩和解压缩

最新推荐文章于 2024-04-26 14:40:23 发布
最新推荐文章于 2024-04-26 14:40:23 发布
阅读量2.1k 收藏 3
点赞数 1
分类专栏： 加密解密
原文链接：https://www.write-bug.com/article/2025.html
版权

背景

对于Windows上的数据压缩和解压缩的实现，最方便的就是直接调用Win32 API函数。Widnows系统的ntdll.dll专门提供了RtlCompressBuffer函数和RtlDecompressBuffer函数来负责对数据压缩和解压缩操作，这两个函数并未公开，需要通过在ntdll.dll中动态调用。

函数介绍

RtlGetCompressionWorkSpaceSize

// 确定缓冲区大小
// 返回STATUS_SUCCESS，则表示成功；否则，失败
    NTSTATUS RtlGetCompressionWorkSpaceSize(
      _In_  USHORT CompressionFormatAndEngine,		// 位掩码指定压缩格式和引擎类型
      _Out_ PULONG CompressBufferWorkSpaceSize,		// 接收压缩缓冲区所需的大小
      _Out_ PULONG CompressFragmentWorkSpaceSize	// 接收将压缩缓冲区解压缩为片段所需的大小
    );

RtlCompressBuffer

// 压缩一个缓冲区
// 返回STATUS_SUCCESS，则表示成功；否则，失败。
    NTSTATUS RtlCompressBuffer(
      _In_  USHORT CompressionFormatAndEngine,		// 指定压缩格式和引擎类型的位掩码
      _In_  PUCHAR UncompressedBuffer,				// 指向要压缩的数据缓冲区的指针
      _In_  ULONG  UncompressedBufferSize,			// UncompressedBuffer 缓冲区的大小
      _Out_ PUCHAR CompressedBuffer,				// 指向压缩之后的数据缓存的缓冲区的指针，用于接收压缩数据
      _In_  ULONG  CompressedBufferSize,			// CompressedBuffer缓冲区的大小
      _In_  ULONG  UncompressedChunkSize,			// 压缩UncompressedBuffer缓冲区时使用的块大小(512、1024、2048或4096)
      _Out_ PULONG FinalCompressedSize,				// 指向调用方分配变量的指针，该变量接收存储在CompressedBuffer中的压缩数据的大小
      _In_  PVOID  WorkSpace						// 指向压缩期间RtlCompressBuffer函数使用的调用方分配的工作空间缓冲区的指针
    );

RtlDecompressBuffer

// 解压缩整个压缩缓冲区。
// 返回STATUS_SUCCESS，则表示成功；否则，失败。
    NTSTATUS RtlDecompressBuffer(
      _In_  USHORT CompressionFormat,			// 指定压缩缓冲区压缩格式的位掩码
      _Out_ PUCHAR UncompressedBuffer,			// 指向存储解压缩数据的缓冲区的指针，该缓冲区从CompressedBuffer接收解压缩的数据
      _In_  ULONG  UncompressedBufferSize,		// UncompressedBuffer缓冲区的大小
      _In_  PUCHAR CompressedBuffer,			// 指向包含要解压缩的数据的缓冲区的指针
      _In_  ULONG  CompressedBufferSize,		// CompressedBuffer缓冲区的大小
      _Out_ PULONG FinalUncompressedSize		// 指向解压之后得到的数据大小的指针，该变量接收UncompressedBuffer中存储的解压缩数据的大小
    );

实现过程

数据压缩主要是通过调用RtlCompressBuffer函数来实现的，那么，具体的数据压缩实现流程如下所示。

首先，先调用LoadLibrary函数加载ntdll.dll，并获取ntdll.dll加载模块的句柄。再调用GetProcAddress函数来获取RtlGetCompressionWorkSpaceSize函数以及RtlCompressBuffer函数。

然后，直接调用RtlGetCompressionWorkSpaceSize函数来获取RtlCompressBuffer函数工作空间缓冲区的大小。其中，压缩格式和引擎类型设置为COMPRESSION_FORMAT_LZNT1和COMPRESSION_ENGINE_STANDARD。然后，根据工作空间缓冲区大小申请一个工作空间缓冲区给压缩数据使用。

最后，调用RtlCompressBuffer函数来压缩数据。数据压缩缓冲区的大小为4096字节，在成功压缩数据之后，便获取实际的压缩数据大小。此时需要将实际压缩数据大小和数据压缩缓冲区大小进行比较，如果数据压缩缓冲区太小，则需要释放原来的缓冲区，重新按照实际压缩数据的大小来申请一个新的数据压缩缓冲区，并且重新压缩数据。这样，才能获取所有的压缩数据。

那么，使用RtlCompressBuffer函数压缩数据的具体实现代码如下所示。

    // 数据压缩
    BOOL CompressData(BYTE *pUncompressData, DWORD dwUncompressDataLength, BYTE **ppCompressData, DWORD *pdwCompressDataLength)
    {
        BOOL bRet = FALSE;
        NTSTATUS status = 0;
        HMODULE hModule = NULL;
        typedef_RtlGetCompressionWorkSpaceSize RtlGetCompressionWorkSpaceSize  = NULL;
        typedef_RtlCompressBuffer RtlCompressBuffer = NULL;
        DWORD dwWorkSpaceSize = 0, dwFragmentWorkSpaceSize = 0;
        BYTE *pWorkSpace = NULL;
        BYTE *pCompressData = NULL;
        DWORD dwCompressDataLength = 4096;
        DWORD dwFinalCompressSize = 0;
        do
        {
            // 加载 ntdll.dll 
            hModule = ::LoadLibrary("ntdll.dll");
            if (NULL == hModule)
            {
                ShowError("LoadLibrary");
                break;
            }
            // 获取 RtlGetCompressionWorkSpaceSize 函数地址
            RtlGetCompressionWorkSpaceSize = (typedef_RtlGetCompressionWorkSpaceSize)::GetProcAddress(hModule, "RtlGetCompressionWorkSpaceSize");
            if (NULL == RtlGetCompressionWorkSpaceSize)
            {
                ShowError("GetProcAddress");
                break;
            }
            // 获取 RtlCompressBuffer 函数地址
            RtlCompressBuffer = (typedef_RtlCompressBuffer)::GetProcAddress(hModule, "RtlCompressBuffer");
            if (NULL == RtlCompressBuffer)
            {
                ShowError("GetProcAddress");
                break;
            }
            // 获取WorkSpqce大小
            status = RtlGetCompressionWorkSpaceSize(COMPRESSION_FORMAT_LZNT1 | COMPRESSION_ENGINE_STANDARD, &dwWorkSpaceSize, &dwFragmentWorkSpaceSize);
            if (0 != status)
            {
                ShowError("RtlGetCompressionWorkSpaceSize");
                break;
            }
            // 申请动态内存
            pWorkSpace = new BYTE[dwWorkSpaceSize];
            if (NULL == pWorkSpace)
            {
                ShowError("new");
                break;
            }
            ::RtlZeroMemory(pWorkSpace, dwWorkSpaceSize);
            while (TRUE)
            {
                // 申请动态内存
                pCompressData = new BYTE[dwCompressDataLength];
                if (NULL == pCompressData)
                {
                    ShowError("new");
                    break;
                }
                ::RtlZeroMemory(pCompressData, dwCompressDataLength);
                // 调用RtlCompressBuffer压缩数据
                RtlCompressBuffer(COMPRESSION_FORMAT_LZNT1, pUncompressData, dwUncompressDataLength, pCompressData, dwCompressDataLength, 4096, &dwFinalCompressSize, (PVOID)pWorkSpace);
                if (dwCompressDataLength < dwFinalCompressSize)
                {
                    // 释放内存
                    if (pCompressData)
                    {
                        delete[]pCompressData;
                        pCompressData = NULL;
                    }
                    dwCompressDataLength = dwFinalCompressSize;
                }
                else
                {
                    break;
                }
            }
            // 返回
            *ppCompressData = pCompressData;
            *pdwCompressDataLength = dwFinalCompressSize;
            bRet = TRUE;
        } while(FALSE);
        // 释放
        if (pWorkSpace)
        {
            delete[]pWorkSpace;
            pWorkSpace = NULL;
        }
        if (hModule)
        {
            ::FreeLibrary(hModule);
        }
        return bRet;
    }

数据解压缩主要是通过调用RtlDecompressBuffer函数来实现的，相比于数据压缩，数据解压缩实现起来更为简单。那么，具体的数据解压缩实现流程如下所示。

首先，同样是先调用LoadLibrary函数加载ntdll.dll，并获取ntdll.dll加载模块的句柄。再调用GetProcAddress函数RtlDecompressBuffer函数。不需要获取RtlGetCompressionWorkSpaceSize函数的地址，因为数据解压缩操作不需要确定压缩工作空间缓冲区大小

然后，开始调用RtlDecompressBuffer函数来解压缩数据。其中，压缩格式和引擎类型必须设置为COMPRESSION_FORMAT_LZNT1。数据解压缩缓冲区的初始大小为4096字节，在成功解压数据之后，便获取实际的解压数据大小。此时需要将实际解压数据大小和数据解压缓冲区大小进行比较，如果数据解压缓冲区太小，则需要释放原来的缓冲区，重新按照实际解压数据的大小来申请一个新的数据解压缓冲区，并且重新解压缩数据。这样，才能获取所有的解压数据。

那么，使用RtlDecompressBuffer函数压缩数据的具体实现代码如下所示。

    // 数据解压缩
    BOOL UncompressData(BYTE *pCompressData, DWORD dwCompressDataLength, BYTE **ppUncompressData, DWORD *pdwUncompressDataLength)
    {
        BOOL bRet = FALSE;
        HMODULE hModule = NULL;
        typedef_RtlDecompressBuffer RtlDecompressBuffer = NULL;
        BYTE *pUncompressData = NULL;
        DWORD dwUncompressDataLength = 4096;
        DWORD dwFinalUncompressSize = 0;
        do
        {
            // 加载 ntdll.dll 
            hModule = ::LoadLibrary("ntdll.dll");
            if (NULL == hModule)
            {
                ShowError("LoadLibrary");
                break;
            }
            // 获取 RtlDecompressBuffer 函数地址
            RtlDecompressBuffer = (typedef_RtlDecompressBuffer)::GetProcAddress(hModule, "RtlDecompressBuffer");
            if (NULL == RtlDecompressBuffer)
            {
                ShowError("GetProcAddress");
                break;
            }
            while (TRUE)
            {
                // 申请动态内存
                pUncompressData = new BYTE[dwUncompressDataLength];
                if (NULL == pUncompressData)
                {
                    ShowError("new");
                    break;
                }
                ::RtlZeroMemory(pUncompressData, dwUncompressDataLength);
                // 调用RtlCompressBuffer压缩数据
                RtlDecompressBuffer(COMPRESSION_FORMAT_LZNT1, pUncompressData, dwUncompressDataLength, pCompressData, dwCompressDataLength, &dwFinalUncompressSize);
                if (dwUncompressDataLength < dwFinalUncompressSize)
                {
                    // 释放内存
                    if (pUncompressData)
                    {
                        delete[]pUncompressData;
                        pUncompressData = NULL;
                    }
                    dwUncompressDataLength = dwFinalUncompressSize;
                }
                else
                {
                    break;
                }
            }
            // 返回
            *ppUncompressData = pUncompressData;
            *pdwUncompressDataLength = dwFinalUncompressSize;
            bRet = TRUE;
        } while (FALSE);
        // 释放
        if (hModule)
        {
            ::FreeLibrary(hModule);
        }
        return bRet;
    }

测试

直接运行上述程序，对“DDDDDDDDDDGGGGGGGGGGGG”字符串进行压缩得到压缩数据，再对压缩数据进行解压缩得到解压数据。得到的压缩数据和解压数据如下图：
在这里插入图片描述

(-: LYSM :-)
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
使用Windows 8新的压缩API进行数据压缩
a1875566250的专栏
03-01 4340
昨天发布消费者预览版，今天安装好WIN8，第一时间就测试了这个看了很久的东西，开发者预览版没装，这玩意从开发者版本就有了，上个月翻MSDN时偶然看到，突然感觉太欢乐了，写出来了有必要分享一下。 由于我没装VS11（下到明年啊），直接下了个VB6精简版就写了，反正也没啥大不了，而且VB代码也能让更多人看懂。枚举类型和API翻译自MSDN给出的C++原形。 Private Enum COMPR
火山移动编程压缩和解压缩数据
07-15
而“火山模块及类库”可能包含实现这些功能的底层模块和类库，开发者可以通过它们来构建自己的压缩和解压缩功能。 8. **实例应用**： - "解压+压缩例子"表明资源中包含实际的代码示例，可以帮助开发者理解和实践...
Windows API压缩与解压
qq_18811919的博客
12-29 593
Windows API压缩与解压。
C# 后台请求接口的方法（GET,POST）
05-27
C# 后台请求接口的方法（GET,POST）
APISix如何配置gzip压缩、cache、跨域
最新发布
哈利路亚的收藏夹
04-26 1186
网上查到的apisix的配置很多都很古老，要改配置文件。其实现在apisix都是使用插件方式实现各种配置，很方便。这里简单介绍下三个常用插件、gzip压缩、cache缓存和跨域插件。这里均使用apisix的Dashboard看板进行配置。
API压缩
weixin_44598449的博客
05-23 314
我们平常爬取一个信息往往要发多次请求，且请求信息还不一定都有用，需要进行筛选，获取信息后再发另一个请求。大多数多写点代码就能解决，不过有些代码，写起来会及其难看，例如安卓，微信小程序，直接掉入回调地狱，还要写大量的请求头信息。 例如我想通过BV号获取B站视频下载链接 需要先通过BV号获取avid与cid 再通过，avid与cid获取下载链接 这大部分过程是重复繁琐的，能不能通过一个代理完成? 于是我写了这样一个代理，方便对api再封装 通过xml进行配置，配置url以及其参数占位符，以及感兴趣的部分
windows黑客编程系列（九）：使用ntdll.dll中并未公开的API进行压缩
至臻求学，胸怀云月
04-24 2836
文章目录压缩技术利用WIN32自带API实现数据压缩WIN APIRtlGetCompressionWorkSpaceSizeRtlCompressBufferRtlDecompressBuffer编码实现运行效果 压缩技术 病毒木马悄悄的隐藏在别人的计算机上，目的是搜集用户的隐私数据。为了顺利完成任务，不可避免的会使用用户计算机的资源，而且这很可能会引起用户的察觉。 为了减少被发现的可能，病...
基于Node.js实现压缩和解压缩的方法
10-18
总之，Node.js提供了丰富的库来处理文件的压缩和解压缩任务，无论是在服务器端还是客户端，都能方便地实现数据的压缩和解压缩。正确选择和使用这些库，可以帮助我们优化资源管理，提高应用程序的效率。
C#实现的文件压缩和解压缩类
09-03
总结来说，C#实现文件压缩和解压缩主要依赖于第三方库，如`ICSharpCode.SharpZipLib`，它提供了丰富的API来处理各种压缩格式。通过封装这些API，我们可以创建自定义的类，简化在应用程序中使用压缩功能的过程。在...
C++纯API实现文件zip压缩的版本管理.zip
01-30
2. **内存管理**：压缩和解压缩过程中，可能需要在内存中临时存储数据。这就需要有效地管理内存，防止内存泄漏。 3. **线程安全**：如果系统需要处理多文件或多用户并发操作，那么线程安全是必须考虑的问题。这可能...
C++ 使用Windows API实现对多级文件路径的压缩和解压
10-17
C++ 使用Windows API实现对多级文件路径的压缩和解压，代码有编译好的可执行程序，在bin目录下，可直接运行，代码使用VS2013编写，使用Dialog实现。
通过java api实现解压缩zip示例
09-04
本示例将详细介绍如何使用Java API实现ZIP文件的压缩和解压缩。 首先，我们来看解压缩ZIP文件的部分。在`unZip`方法中，首先创建一个`ZipFile`对象，它表示我们要解压的ZIP文件。接着，通过`entries()`方法获取ZIP...
Windows最新压缩API的C#实现
noworrycd的博客
04-13 946
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档Windows 文章目录前言一、支持算法如下：二、C# 实现代码1.压缩2.解压缩3.取错误代码描述总结 前言 许多应用程序都需要使用无损的数据压缩和解压缩。 Windows压缩 API 通过公共 API 公开 Windows 压缩算法来简化此功能。C#可以调用这些API实现流和文件的加压和解压。不支持Windows XP/Windows 7, 支持Windows 8/10/11. 一、支持算法如下： XPRESS XPRESS Huff.
Rtlcompressbuffer 压缩与解压
10-26 1475
#include <iostream> #include <windows.h> using namespace std; //typedef unsigned long NTSTATUS; #define STATUS_SUCCESS ((NTSTATUS)0x00000000UL) #define STATUS_BUFFER_ALL_ZEROS ((NTSTATUS)0x00000117UL) #define STATUS_I.
C#对byte数组压缩和解压
zy332719794的专栏
06-05 8056
直接上代码 public class ByteHelper { public const ushort COMPRESSION_FORMAT_LZNT1 = 2; public const ushort COMPRESSION_ENGINE_MAXIMUM = 0x100; [DllImport("ntdll.dll")]
windows黑客编程之压缩技术
weixin_44891742的博客
07-26 334
windows黑客编程之压缩技术
利用 node 原生api 实现gzip压缩web服务
05-25
要实现Gzip压缩Web服务，首先需要使用 Node.js 的 `zlib` 模块。`zlib` 模块提供了压缩和解压缩的功能。 以下是一个实现Gzip压缩Web服务的示例： ```javascript const http = require('http'); const zlib = require('zlib'); const fs = require('fs'); http.createServer((req, res) => { const acceptEncoding = req.headers['accept-encoding']; const filePath = '.' + req.url; fs.readFile(filePath, (err, content) => { if (err) { res.writeHead(404); res.end(); return; } if (acceptEncoding.indexOf('gzip') !== -1) { res.writeHead(200, { 'Content-Encoding': 'gzip' }); zlib.gzip(content, (err, buffer) => { res.end(buffer); }); } else { res.writeHead(200, {}); res.end(content); } }); }).listen(3000); ``` 在这个示例中，我们使用 `http.createServer()` 方法创建了一个HTTP服务器。当收到请求时，我们首先检查是否支持Gzip压缩。如果支持，则在响应头中添加 `Content-Encoding: gzip`，然后使用 `zlib.gzip()` 方法对内容进行压缩，并将压缩后的内容作为响应。 如果不支持Gzip压缩，则直接将内容作为响应。 请注意，这个示例仅用于说明如何使用Node.js原生API实现Gzip压缩Web服务，实际上在生产环境中，最好使用现有的Web框架或中间件来实现Gzip压缩功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值