LZW编解码算法实现

最新推荐文章于 2022-07-14 21:13:07 发布
最新推荐文章于 2022-07-14 21:13:07 发布
阅读量386 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45442965/article/details/105828360
版权

LWZ基本概念

LZW压缩编码是一种先进的数据压缩技术，属于无损压缩编码，该编码主要用于图像数据的压缩。对于简单图像和平滑且噪声小的信号源具有较高的压缩比，并且有较高的压缩和解压缩速度。
1977年，两位以色列教授Lempel和Ziv提出了查找冗余字符和用较e69da5e887aae79fa5e9819331333236363465短的符号标记替代冗余字符的概念。1985年，由Welch加以充实而形成LZW，简称“LZW”技术。
LZW算法采用动态的建立字典的方法，依次读入原文件的字符序列，每次碰到新的连续的字符串，就在字典中加入标示，当下次再次遇到这种字符串时，就可以用字典索引序号直接代替字符串，写入压缩文件中。在这里引入两个名词: “string”，“char”；string表示前缀，char 表示新读入的字符，每个字典索引对应一对(string,char）；

LWZ编码原理

在这里插入图片描述
如上流程图：
1：将词典初始化为包含所有可能的单字符，当前前缀P初始化为空。

2：当前字符C=字符流中的下一个字符。

3：判断P＋C是否在词典中

（1）如果“是”，则用C扩展P，即让P=P＋C，返回到步骤2。

（2）如果“否”，则输出与当前前缀P相对应的码字W；将P＋C添加到词典中；令P=C，并返回到步骤2

解码流程

1：在开始译码时词典包含所有可能的前缀根。

2：令CW：=码字流中的第一个码字。

3：输出当前缀-符串string.CW到码字流。

4：先前码字PW：=当前码字CW。

5：当前码字CW：=码字流的下一个码字。

6：判断当前缀-符串string.CW 是否在词典中。

（1）如果”是”，则把当前缀-符串string.CW输出到字符流。

当前前缀P：=先前缀-符串string.PW。

当前字符C：=当前前缀-符串string.CW的第一个字符。

把缀-符串P+C添加到词典。

（2）如果”否”，则当前前缀P：=先前缀-符串string.PW。

当前字符C：=当前缀-符串string.CW的第一个字符。

输出缀-符串P+C到字符流,然后把它添加到词典中。

步骤7：判断码字流中是否还有码字要译。

（1）如果”是”，就返回步骤4。

（2）如果”否”，结束。

代码实现

bitio.h

//
/*
 * Declaration for bitwise IO
 *
 * vim: ts=4 sw=4 cindent
 */
#ifndef __BITIO__
#define __BITIO__
#define MAX_CODE 65535

#include <iostream>
#include <stdio.h>
#include <cstdio>

typedef struct { //define the struct named bitfile which set the format of the struct reading in 
    FILE* fp; // this struct including a pointer, an unsigned char format variate and an int format variate
    unsigned char mask;
    int rack;
}BITFILE;

BITFILE* OpenBitFileInput(char* filename);
BITFILE* OpenBitFileOutput(char* filename);
void CloseBitFileInput(BITFILE* bf);
void CloseBitFileOutput(BITFILE* bf);
int BitInput(BITFILE* bf);
unsigned long BitsInput(BITFILE* bf, int count);
void BitOutput(BITFILE* bf, int bit);
void BitsOutput(BITFILE* bf, unsigned long code, int count);
#endif // __BITIO__

bitio.cpp

/*
 * Definitions for bitwise IO
 *
 * vim: ts=4 sw=4 cindent
 */

#include <stdlib.h>
#include <stdio.h>
#include "bitio.h"
BITFILE* OpenBitFileInput(char* filename) {  //Open the binary file which needs to be LZW compressed
	BITFILE* bf;  //define a pointer named bf(the same as fp in the struct BITFILE)
	bf = (BITFILE*)malloc(sizeof(BITFILE));
	if (NULL == bf)
	{
		return NULL;
	}
	if (NULL == filename)
	{
		bf->fp = stdin;
	}
	else
	{
		errno_t err = 0;
		if (err = fopen_s(&bf->fp, filename, "rb") != 0)
		{
			return NULL;
		}
	}
	if (NULL == bf->fp)
	{
		return NULL;
	}
	bf->mask = 0x80;
	bf->rack = 0;
	return bf;
}

BITFILE* OpenBitFileOutput(char* filename) { //Open the binary file which needs to be uncompressed
	BITFILE* bf; //define a pointer named bf(the same as fp in the struct BITFILE)
	bf = (BITFILE*)malloc(sizeof(BITFILE));
	if (NULL == bf)
	{
		return NULL;
	}
	if (NULL == filename)
	{
		bf->fp = stdout;
	}
	else
	{
		errno_t err = 0;
		if (err = fopen_s(&bf->fp, filename, "wb") != 0)
		{
			return NULL;
		}
	}
	if (NULL == bf->fp) return NULL;
	bf->mask = 0x80;//设置bf中的mask为0x80，即128
	bf->rack = 0;//设置bf中的rack为0
	return bf;
}

void CloseBitFileInput(BITFILE* bf) { //close the files opened and free the buffer used
	fclose(bf->fp);
	free(bf);
}

void CloseBitFileOutput(BITFILE* bf) { //close the files opened and free the buffer used
	// Output the remaining bits
	if (0x80 != bf->mask) fputc(bf->rack, bf->fp);
	fclose(bf->fp);
	free(bf);
}

int BitInput(BITFILE* bf) {
	int value;
	if (0x80 == bf->mask) {
		bf->rack = fgetc(bf->fp);
		if (EOF == bf->rack) {
			fprintf(stderr, "Read after the end of file reached\n");
			exit(-1);
		}
	}
	value = bf->mask & bf->rack;
	bf->mask >>= 1;
	if (0 == bf->mask) bf->mask = 0x80;
	return((0 == value) ? 0 : 1);
}

unsigned long BitsInput(BITFILE* bf, int count) {
	unsigned long mask;
	unsigned long value;
	mask = 1L << (count - 1);
	value = 0L;
	while (0 != mask) {
		if (1 == BitInput(bf))
			value |= mask;
		mask >>= 1;
	}
	return value;
}

void BitOutput(BITFILE* bf, int bit) {//turn the int type "bit" into the 8bits number and write into the file "bf"
	if (0 != bit) bf->rack |= bf->mask;
	bf->mask >>= 1;
	if (0 == bf->mask) {	// eight bits in rack
		fputc(bf->rack, bf->fp);
		bf->rack = 0;
		bf->mask = 0x80;
	}
}

void BitsOutput(BITFILE* bf, unsigned long code, int count) {//turn the unsigned long type "code" into the "count"bits number and write into the file "bf"
	unsigned long mask;
	mask = 1L << (count - 1);
	while (0 != mask) {
		BitOutput(bf, (int)(0 == (code & mask) ? 0 : 1));
		mask >>= 1;
	}
}
#if 0
int main(int argc, char** argv) {
	BITFILE* bfi, * bfo;
	int bit;
	int count = 0;

	if (1 < argc) {
		if (NULL == OpenBitFileInput(bfi, argv[1])) {
			fprintf(stderr, "fail open the file\n");
			return -1;
		}
	}
	else {
		if (NULL == OpenBitFileInput(bfi, NULL)) {
			fprintf(stderr, "fail open stdin\n");
			return -2;
		}
	}
	if (2 < argc) {
		if (NULL == OpenBitFileOutput(bfo, argv[2])) {
			fprintf(stderr, "fail open file for output\n");
			return -3;
		}
	}
	else {
		if (NULL == OpenBitFileOutput(bfo, NULL)) {
			fprintf(stderr, "fail open stdout\n");
			return -4;
		}
	}
	while (1) {
		bit = BitInput(bfi);
		fprintf(stderr, "%d", bit);
		count++;
		if (0 == (count & 7))fprintf(stderr, " ");
		BitOutput(bfo, bit);
	}
	return 0;
}
#endif

lzw_E.cpp

/*
 * Definition for LZW coding
 *
 * vim: ts=4 sw=4 cindent nowrap
 */
#include <cstdio>
#include <iostream>
#include <stdlib.h>
#include <stdio.h>
#include "bitio.h"
using namespace std;

struct {
	int suffix;
	int parent;
	int firstchild, nextsibling;
} dictionary[MAX_CODE + 1];
int next_code;
int d_stack[MAX_CODE]; // stack for decoding a phrase

#define input(f) ((int)BitsInput( f, 16))//定义input的函数
#define output(f, x) BitsOutput( f, (unsigned long)(x), 16)//定义output的函数

int DecodeString(int start, int code);
void InitDictionary(void);
void PrintDictionary(void) 
{//输出字典
	int n;
	int count;
	for (n = 256; n < next_code; n++) {
		count = DecodeString(0, n);
		printf("%4d->", n);
		while (0 < count--) printf("%c", (char)(d_stack[count]));
		printf("\n");
	}
}
//Print out the dictionary that we build

int DecodeString(int start, int code) {
	int count;
	count = start;
	while (0 <= code)
	{
		d_stack[count] = dictionary[code].suffix;
		code = dictionary[code].parent;
		count++;
	}
	return count;
}//the process of decoding

void InitDictionary(void) {
	int i;

	for (i = 0; i < 256; i++) {
		dictionary[i].suffix = i;//尾缀字符
		dictionary[i].parent = -1;//母节点
		dictionary[i].firstchild = -1;//孩子节点
		dictionary[i].nextsibling = i + 1;//下一个兄弟节点
	}
	dictionary[255].nextsibling = -1;
	next_code = 256;
}
/*
 * Input: string represented by string_code in dictionary,
 * Output: the index of character+string in the dictionary
 * 		index = -1 if not found
 */
int InDictionary(int character, int string_code) {//查找词典中是否有字符串
	int sibling;
	if (0 > string_code)
	{
		return character;
	}
	sibling = dictionary[string_code].firstchild;
	while (-1 < sibling) 
	{
		if (character == dictionary[sibling].suffix)
		{
			return sibling;
		}
		sibling = dictionary[sibling].nextsibling;
	}
	return -1;
}

void AddToDictionary(int character, int string_code) //每一次读入的字符为character和string code值
{
	int firstsibling, nextsibling;
	if (0 > string_code)
	{
		return;
	}
	dictionary[next_code].suffix = character; 
	dictionary[next_code].parent = string_code;
	dictionary[next_code].nextsibling = -1;
	dictionary[next_code].firstchild = -1;
	firstsibling = dictionary[string_code].firstchild;
	if (-1 < firstsibling) {	// the parent has child
		nextsibling = firstsibling; 
		while (-1 < dictionary[nextsibling].nextsibling)
		{
			nextsibling = dictionary[nextsibling].nextsibling;
		}
		dictionary[nextsibling].nextsibling = next_code;
	}
	else {// no child before, modify it to be the first
		dictionary[string_code].firstchild = next_code;
	}
	next_code++;
}

void LZWEncode(FILE* fp, BITFILE* bf) {
	int character;
	int string_code;
	int index;
	unsigned long file_length;
	fseek(fp, 0, SEEK_END);
	file_length = ftell(fp);
	fseek(fp, 0, SEEK_SET);
	BitsOutput(bf, file_length, 4 * 8);//调用BitsOutput函数
	InitDictionary();//初始化词典
	string_code = -1;//string_code的初值赋值为-1，方便在第一次判断的时候判断读取是否为单个字符
	while (EOF != (character = fgetc(fp)))
	{//从fp中逐个取出字符，这个其实就是预先读入的1.dat中的字母，每次读一个字节
		index = InDictionary(character, string_code);
		if (0 <= index) 
		{	// string+character in dictionary
			string_code = index;
		}
		else
		{	// string+character not in dictionary
			output(bf, string_code);
			if (MAX_CODE > next_code) {	// free space in the dictionary
				// add string+character to the dictionary
				AddToDictionary(character, string_code);
			}
			string_code = character;
		}
	}
	output(bf, string_code);
}

void LZWDecode(BITFILE* bf, FILE* fp) {//解码
	int character = -1;
	int new_code, last_code;
	int phrase_length;
	unsigned long file_length;//文件总长度

	file_length = BitsInput(bf, 4 * 8);//读出输入的需要解码的文件的长度
	if (-1 == file_length)
	{
		file_length = 0;
	}
	InitDictionary();//初始化解码词典
	last_code = -1;
	while (0 < file_length) {
		new_code = input(bf);//重定义input函数
		if (new_code >= next_code)
		//this is the case CSCSC(not in dict)
		{ 
			d_stack[0] = character;//将character先存入d_stack[0]
			phrase_length = DecodeString(1, last_code);
		
		}
		else
		{
			phrase_length = DecodeString(0, new_code);//
		}
		character = d_stack[phrase_length - 1];//找到dstack里的最后一个字符
		while (0 < phrase_length) {
			phrase_length--;
			fputc(d_stack[phrase_length], fp);//输出到文件
			file_length--;//文件剩余未解压缩的量
		}
		if (MAX_CODE > next_code) {	// add the new phrase to dictionary
			AddToDictionary(character, last_code);
		}
		last_code = new_code;//更新last_code的值
	}
}



int main(int argc, char** argv) {
	FILE* fp;
	BITFILE* bf;

	if (4 > argc) { //输入的参数个数必须要大于等于三，否则会出现以下内容
		fprintf(stdout, "usage: \n%s <o> <ifile> <ofile>\n", argv[0]);
		fprintf(stdout, "\t<o>: E or D reffers encode or decode\n");
		fprintf(stdout, "\t<ifile>: input file name\n");
		fprintf(stdout, "\t<ofile>: output file name\n");
		return -1;
	}
	if ('E' == argv[1][0]) { // do encoding，E是在命令参数中设置的
		errno_t err = 0;
		err = fopen_s(&fp, argv[2], "rb");//argv[2]就是在命令参数中设置的a.dat，实现读入操作
		bf = OpenBitFileOutput(argv[3]);//argv[3]就是在命令参数中设置的输出的地址和文件名
		if (err == 0 && NULL != bf) {
			LZWEncode(fp, bf);
			fclose(fp);//关闭文件指针
			CloseBitFileOutput(bf);
			fprintf(stdout, "encoding done\n");//输出完成编码过程
		}
	}
	else if ('D' == argv[1][0]) {	// do decoding，D是在命令参数中设置的
		bf = OpenBitFileInput(argv[2]);
		errno_t err = 0;
		err = fopen_s(&fp, argv[3], "wb");//argv[3]就是在命令参数中设置的输出的地址和文件名
		if (NULL != fp && NULL != bf) {//如果成功读入，而且成功创立输出文件
			LZWDecode(bf, fp);//调用LZWEncode的函数
			//输入为argv[2]所对应的FILE*型指针
			fclose(fp);//关闭文件指针
			CloseBitFileInput(bf);
			fprintf(stdout, "decoding done\n");//输出
		}
	}
	else {	// otherwise
		fprintf(stderr, "not supported operation\n");
	}
	return 0;
}

验证结果

.选择几种不同格式类型的文件，使用LZW编码器进行压缩得到输出的压缩比特流文件。对各种不同格式的文件进行压缩效率的分析。
在这里插入图片描述

原始文件格式原始文件大小编码后文件大小压缩比
pptx3431kb4172kb0.822
jpg12kb14kb0.857
yuv768kb108kb7.111
txt1kb1kb1.000
pdf1206kb1585kb0.761
docx367kb370kb0.992

通过观察压缩比可以看到，除yuv之外，其余文件格式经过编码之后数据量增大。
对于这个问题考虑为部分格式字符重复率低导致编码后数据量大。

CUC_Yang
关注
压缩算法——lzw算法实现
戴港的博客
09-12 1万+
压缩算法——lzw算法实现 字典压缩的基本原理 以色列人Lempel与Ziv发现在正文流中词汇和短语很可能会重复出现。当出现一个重复时，重复的序列可以用一个短的编码来代替。 压缩程序重复扫描这样的重复，同时生成编码来代替重复序列。随着时间过去，编码可以用来捕获新的序列。算法必须设计成压缩程序能够在编码和原始数据序列推导出当前的映射。 说实话直接用文字来描述其实听起来很迷，直接看图： ...
【数据压缩】LZW编解码算法实现与分析
weixin_48930491的博客
04-24 502
一、LZW编码原理和实现算法 LZW的编码思想是不断地从字符流中提取新的字符串，通俗地理解为新“词条”，然 后用“代号”也就是码字表示这个“词条”。这样一来，对字符流的编码就变成了用码字去替 换字符流，生成码字流，从而达到压缩数据的目的。LZW编码是围绕称为词典的转换表来完成的。LZW编码器通过管理这个词典完成输入与输出之间的转换。LZW编码器的输入是字符流，字符流可以是用8位ASCII字符组成的字符串，而输出是用n位(例如12位)表示的码字流。 编码算法步骤 步骤1：将词典初......
基于字典的LZW编码
05-17
实现基于字典的LZW编码，其中norm2lzw 编码；lzw2norm 解码；lzw_demo1 演示程序
LZW压缩算法解码器实现
weixin_34081595的博客
01-08 331
   本文先给出具体的代码实现，懂一些LZW算法理论，基本上如果静下心来，都能看明白解码器的实现。如果不太清楚LZW,可以查看下以前的一篇帖子：http://www.cnblogs.com/jillzhang/archive/2006/11/06/551298.html 代码文件：LZW压缩算法解码器 LZW相关帖子： LZW数据压缩算法的原理分析 lzw压缩算法 ...
LZW编解码算法实现与分析
weixin_46338427的博客
04-25 353
一、实验原理 1、LZW编码原理 ​LZW的编码思想是不断地从字符流中提取新的字符串，通俗地理解为新“词条”，然 后用“代号”也就是码字表示这个“词条”。这样一来，对字符流的编码就变成了用码字去 替换字符流，生成码字流，从而达到压缩数据的目的。LZW编码是围绕称为词典的转换 表来完成的。LZW编码器通过管理这个词典完成输入与输出之间的转换。LZW编码器的 输入是字符流，字符流可以是用8位ASCII...
LZW编解码算法实现与分析完整代码
04-24
LZW编解码算法实现与分析完整代码
【数据压缩实验】LZW编解码算法实现与分析
m0_52082331的博客
06-16 487
LZW编解码算法实现
数据压缩实验三：LZW编解码算法实现
qq_51210935的博客
07-14 635
1.1LZW的编码思想不断地从字符流中提取新的字符串，通俗地理解为新“词条”，然后用“代号”也就是码字表示这个“词条”。这样一来，对字符流的编码就变成了用码字去替换字符流，生成码字流，从而达到压缩数据的目的。LZW编码是围绕称为词典的转换表来完成的。LZW编码器通过管理这个词典完成输入与输出之间的转换。LZW编码器的输入是字符流，字符流可以是用8位ASCII字符组成的字符串，而输出是用n位(例如12位)表示的码字流。1.2LZW编码算法的步骤步骤11.3LZW解码原理和实现算法。......
lzw编码matlab实现
05-19
利用matlab实现的lzw编码，能够高效无损压缩图片，gif——lzw
matlabLZW编码
03-27
lzw 编码的matlab程序，下了就能用，不能用再问我。有编码也有复原
LWZ压缩编码原理与C++实现
Bageyalv的博客
04-25 4483
LWZ编码原理 LZW算法又叫“串表压缩算法，”就是通过建立一个字符串表，用较短的代码来表示较长的字符串来实现压缩，提取原始文本文件数据中的不同字符，基于这些字符创建一个编译表，然后用编译表中的字符的索引来替代原始文本文件数据中的相应字符，减少原始数据大小。 编码流程 步骤1：将词典初始化为包含所有可能的单字符，当前前缀P初始化为空。 步骤2：当前字符C=字符流中的下一个字符。 步骤3：判断P＋C...
C++ LZW算法
nightwizard2030的博客
04-08 4911
LZW算法，用于高重复率的无损文本压缩，压缩率达30%~50%，然而经过实测发现，对于普通文章文本，就算经过优化，效果也只能说很一般吧。然而这个算法的实现也让我头疼了一阵子，这种推理算法确实恶心，非常抽象，本来写完KMP之后就打算把这算法写一遍，然而为了优化，又卡住了一会，在今晚终于大功告成。 压缩部分应该很容易看明白，就是解压的时候，需要考虑如果字典里没有，则一定是连续重复的字符，就是
LZW算法
独坐大雄风
01-17 889
一、lzw的介绍      LZW压缩算法是一种新颖的压缩方法，由Lemple-Ziv-Welch 三人共同创造，用他们的名字命名。它采用了一种先进的串表压缩，将每个第一次出现的串放在一个串表中，用一个数字来表示串，压缩文件只存贮数字，则不存贮串，从而使图象文件的压缩效率得到较大的提高。奇妙的是，不管是在压缩还是在解压缩的过程中都能正确的建立这个串表，压缩或解压缩完成后，这个串表又被丢弃。  
实验五-LZW编码的MATLAB实现
虎慕的博客
07-06 6418
LZW编码(串表压缩算法)
数据压缩之LZW编解码算法实现与分析
weixin_46393626的博客
04-11 407
实验目的 掌握词典编码的基本原理，用C/C++/Python等语言编程实现LZW解码器并分析编解码算法。 主要设备 安装 Windows 和 Visual Studio 等编程平台的个人计算机。 实验内容 LZW编码原理和实现算法 LZW的编码思想是不断地从字符流中提取新的字符串，通俗地理解为新“词条”，然后用“代号”也就是码字表示这个“词条”。这样一来，对字符流的编码就变成了用码字去替 换字符流，生成码字流，从而达到压缩数据的目的。LZW编码是围绕称为词典的转换表 来完成的。LZW编码器通过管理这个词典
LZW压缩算法原理解析
weixin_33895475的博客
09-30 2851
最近整理Github上以前胡乱写的代码，发现自己还写过压缩算法，大概是不知道什么时候用来练手的。里面我实现了哈夫曼树，LZW字典和算数编码三种压缩算法，时隔几年几乎没什么印象了，尤其是后两种连原理都基本忘了，所以把它们拎出来整理一下，也算是逼自己做个回忆。 本篇先讲LZW算法，Wiki里给出的介绍和样例其实还不错，不过我在网上并没有找到很...
[实验三]LZW 编解码算法实现与分析
qq_45893491的博客
04-20 1899
一、LZW算法 LZW属于第二类词典编码，第二类词典编码的思想是企图从输入的数据中创建一个“短语词典 (dictionary of the phrases)”，这种短语可以是任意字符的组合。编码数据过程中当遇到已经在词典中出现的“短语”时，编码器就输出这个词典中的短语的“索引号”，而不是短语本身。 LZW算法的编码过程中不断读取被编码的字符串内容，使用词典中的索引来替换连续的字符串，词典一开始初始化后必须包含可能在字符流出现的所有单个字符，即在编码匹配时，至少可以在词典中找到长度为1的匹配串。在编码的过
Matlab音视频编解码算法实现：行程、算数、LZW、Huffman方法
资源摘要信息:"该项目是关于利用Matlab软件实现音视频信号编解码算法的研究成果。项目内容包括多种编码技术的应用，具体有行程编码、算数编码、LZW算法和Huffman编码。这些编码技术被广泛应用于数据压缩领域，以提高...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值