哈夫曼压缩解压缩任意文件

哈夫曼压缩解压缩任意文件

                       jefby.

Xidian University.

 

花了两天多的时间，终于搞完了哈夫曼解压缩任意文件，因为以前写过哈夫曼编码/解码字符串的程序，以为会比较简单，技术难度应该不大，但是这次写这个程序才真的明白，代码实现和理论上构想之间的差距有多么大的差距！你想的再好，不能用代码实现起来，仍然是一件很扯的事情，踏踏实实的写代码，从实际出发，你会奇异的发现自己竟然会犯各种2B的问题，比如说=和==不分（笔者熟悉VHDL语言，在VHDL语言里面=就是相等比较符号，所以有点乱哈），还有你想不到的问题，缓冲区处理问题，字节对齐问题等等。好了，废话不多说，开始总结下实现的方法：

哈弗曼原理比较简单，相信很多人都很清楚，故笔者在这里不做理论方面的分析了，直接从具体实现入手：要实现任意文件的压缩和解压缩，首先得明白文件都是按字节存储的，故可以按字节进行统计，然后进行哈弗曼编码，获取到哈弗曼编码表后然后再进行压缩，为了提高效率，笔者从源文件读取的时候是按块进行读的，每次读取4MB的数据，然后逐字节进行处理，在此处笔者定义了数据结构，

这样查找替换的效率非常高，替换后也是先替换到一个暂存缓冲区

然后等到缓冲区满的时候再次利用一个’1’，’0’，字符串转换为字节的算法直接对其编码，这里有一个问题需要考虑，如果最后哈弗曼编码的长度不能按字节对齐，那么该怎么办？？笔者使用了一种比较简单的方法，即在文件头处预留16个字节，在第一个字节定义了为了对齐需补充的位数，在解码的时候，首先读取16个字节，然后将第一个字节保存起来，当一次读取的字节数小于缓冲区的大小时，说明是最后一次读取，此时需要注意将解码的实际个数修改为实际读到的字节数-第一个字节（为了去除掉补充的位）。这个是压缩时处理未对齐情况的具体代码实现部分。

另外压缩缓冲区的处理问题也比较多，第一，当替换的哈弗曼编码长度小于缓冲区长度时，直接更新写缓冲区的指针，如果刚好的话需要将缓冲区指针清零，将写缓冲区写入压缩文件，写缓冲区清零，如果大于写缓冲区的话，首先，从哈弗曼编码中取出刚好凑足写缓冲区长度大小，然后将写缓冲区写入文件，刷新写缓冲，并将剩余的哈弗曼编码值存储到新的写缓冲，更新写缓冲的指针。具体实现如下：

解压缩的时候思想比较简单，也是按块读取，然后一次性全部转换为’0’,’1’字符串，然后每次从树根向下查找，找到了叶子节点后，根据构建的哈弗曼树数组，将原始字符写入写缓冲区，这里缓冲区出来也比较复杂，第一，按块读取，第二个就是本次读取的块并不能刚好走到叶子节点处，此时，需要从此处回退，直至根节点，将走的步数记录下来，并将未成功的路径保存在异常处理数组中，而每次查找叶子节点时，首先必须确定异常处理指针是否为0，若不为0，则从异常处理数组中取出值，从树根开始走到指针处，然后将新读取的块加入进来，最终一定会找到一个匹配的字符，然后将该字符写入写缓冲区，具体实现代码如下：

其他的也就没啥了，上个成功运行图吧！原始文件为22MB左右的MP4文件，

原始视频

解压缩之后的视频：

经测试，解压缩之后的视频与原文件完全相同，

另一个例子是txt格式的文本

这个压缩比还可以，速度也挺快的1s中就搞定了。。^_^。