LZW编解码算法实现与分析

一、实验目的

掌握词典编码的基本原理，用C/C++/Python等语言编程实现LZW解码器并分析编解码算法。

二、实验内容

1．LZW编码原理
LZW的编码思想是不断地从字符流中提取新的字符串，通俗地理解为新“词条”，然后用“代号”也就是码字表示这个“词条”。这样一来，对字符流的编码就变成了用码字去替换字符流，生成码字流，从而达到压缩数据的目的。LZW编码是围绕称为词典的转换表来完成的。LZW编码器通过管理这个词典完成输入与输出之间的转换。LZW编码器的输入是字符流，字符流可以是用8位ASCII字符组成的字符串，而输出是用n位(例如12位)表示的码字流。

1. 将词典初始化为包含所有可能的单字符，当前前缀P初始化为空。
2. 当前字符C=字符流中的下一个字符。
3. 判断P＋C是否在词典中
   （1）如果“是”，则用C扩展P，即让P=P＋C，返回到步骤2。
   （2）如果“否”，则输出与当前前缀P相对应的码字W；将P＋C添加到词典中；令P=C，并返回到步骤2

2．LZW解码原理和实现算法
LZW解码算法开始时，译码词典和编码词典相同，包含所有可能的前缀根

1. 在开始译码时词典包含所有可能的前缀根。
2. 令CW：=码字流中的第一个码字。
3. 输出当前缀-符串string.CW到码字流。
4. 先前码字PW：=当前码字CW。
5. 当前码字CW：=码字流的下一个码字。
6. 判断当前缀-符串string.CW 是否在词典中。
   （1）如果”是”，则把当前缀-符串string.CW输出到字符流。
   当前前缀P：=先前缀-符串string.PW。
   当前字符C：=当前前缀-符串string.CW的第一个字符。
   把缀-符串P+C添加到词典。
   （2）如果”否”，则当前前缀P：=先前缀-符串string.PW。
   当前字符C：=当前缀-符串string.CW的第一个字符。
   输出缀-符串P+C到字符流,然后把它添加到词典中。
7. 判断码字流中是否还有码字要译。
   （1）如果”是”，就返回步骤4。
   （2）如果”否”，结束。

三、核心代码

/*
 * Definition for LZW coding 
 *
 * vim: ts=4 sw=4 cindent nowrap
 */
#include <stdlib.h>
#include <stdio.h>
#include "bitio.h"
#define MAX_CODE 65535

struct {
	int suffix;
	int parent, firstchild, nextsibling;
} dictionary[MAX_CODE+1];
int next_code;
int d_stack[MAX_CODE]; // stack for decoding a phrase

#define input(f) ((int)BitsInput( f, 16))
#define output(f, x) BitsOutput( f, (unsigned long)(x), 16)

int DecodeString( int start, int code);
void InitDictionary( void);
void PrintDictionary( void){
	int n;
	int count;
	for( n=256; n<next_code; n++){
		count = DecodeString( 0, n);
		printf( "%4d->", n);
		while( 0<count--) printf("%c", (char)(d_stack[count]));
		printf( "\n");
	}
}

int DecodeString( int start, int code){
	int count;
	count = start;
	while( 0<=code){
		d_stack[ count] = dictionary[code].suffix;
		code = dictionary[code].parent;
		count ++;
	}
	return count;
}
void InitDictionary( void){
	int i;

	for( i=0; i<256; i++){
		dictionary[i].suffix = i;
		dictionary[i].parent = -1;
		dictionary[i].firstchild = -1;
		dictionary[i].nextsibling = i+1;
	}
	dictionary[255].nextsibling = -1;
	next_code = 256;
}
/*
 * Input: string represented by string_code in dictionary,
 * Output: the index of character+string in the dictionary
 * 		index = -1 if not found
 */
int InDictionary( int character, int string_code){
	int sibling;
	if( 0>string_code) return character;
	sibling = dictionary[string_code].firstchild;
	while( -1<sibling){
		if( character == dictionary[sibling].suffix) return sibling;
		sibling = dictionary[sibling].nextsibling;
	}
	return -1;
}

void AddToDictionary( int character, int string_code){
	int firstsibling, nextsibling;
	if( 0>string_code) return;
	dictionary[next_code].suffix = character;
	dictionary[next_code].parent = string_code;
	dictionary[next_code].nextsibling = -1;
	dictionary[next_code].firstchild = -1;
	firstsibling = dictionary[string_code].firstchild;
	if( -1<firstsibling){	// the parent has child
		nextsibling = firstsibling;
		while( -1<dictionary[nextsibling].nextsibling ) 
			nextsibling = dictionary[nextsibling].nextsibling;
		dictionary[nextsibling].nextsibling = next_code;
	}else{// no child before, modify it to be the first
		dictionary[string_code].firstchild = next_code;
	}
	next_code ++;
}

void LZWEncode( FILE *fp, BITFILE *bf){
	int character;
	int string_code;
	int index;
	unsigned long file_length;

	fseek( fp, 0, SEEK_END);
	file_length = ftell( fp);
	fseek( fp, 0, SEEK_SET);
	BitsOutput( bf, file_length, 4*8);
	InitDictionary();
	string_code = -1;
	while( EOF!=(character=fgetc( fp))){
		index = InDictionary( character, string_code);
		if( 0<=index){	// string+character in dictionary
			string_code = index;
		}else{	// string+character not in dictionary
			output( bf, string_code);
			if( MAX_CODE > next_code){	// free space in dictionary
				// add string+character to dictionary
				AddToDictionary( character, string_code);
			}
			string_code = character;
		}
	}
	output( bf, string_code);
}

void LZWDecode( BITFILE *bf, FILE *fp){
	int character;
	int new_code, last_code;
	int phrase_length;
	unsigned long file_length;

	file_length = BitsInput( bf, 4*8);
	if( -1 == file_length) file_length = 0;
	/*需填充*/
	InitDictionary();
	last_code = -1;
	while( 0<file_length)
	{
      new_code = input( bf);
      if( new_code >= next_code)
	  {
           d_stack[0] = character;
           phrase_length = DecodeString( 1, last_code);
	  }
	  else
	  {
		  phrase_length = DecodeString( 0, new_code);
	  }
	  character = d_stack[phrase_length-1];
	  while( 0<phrase_length)
	  {
		  phrase_length --;
		  fputc( d_stack[ phrase_length], fp);
		  file_length--;
	  }
	  if( MAX_CODE>next_code)
	  {
       AddToDictionary( character, last_code);
	  }
     last_code = new_code;
}
}



int main( int argc, char **argv){
	FILE *fp;
	BITFILE *bf;

	if( 4>argc){
		fprintf( stdout, "usage: \n%s <o> <ifile> <ofile>\n", argv[0]);
		fprintf( stdout, "\t<o>: E or D reffers encode or decode\n");
		fprintf( stdout, "\t<ifile>: input file name\n");
		fprintf( stdout, "\t<ofile>: output file name\n");
		return -1;
	}
	if( 'E' == argv[1][0]){ // do encoding
		fp = fopen( argv[2], "rb");
		bf = OpenBitFileOutput( argv[3]);
		if( NULL!=fp && NULL!=bf){
			LZWEncode( fp, bf);
			fclose( fp);
			CloseBitFileOutput( bf);
			fprintf( stdout, "encoding done\n");
		}
	}else if( 'D' == argv[1][0]){	// do decoding
		bf = OpenBitFileInput( argv[2]);
		fp = fopen( argv[3], "wb");
		if( NULL!=fp && NULL!=bf){
			LZWDecode( bf, fp);
			fclose( fp);
			CloseBitFileInput( bf);
			fprintf( stdout, "decoding done\n");
		}
	}else{	// otherwise
		fprintf( stderr, "not supported operation\n");
	}
	return 0;
}

四、实验步骤

1．首先调试LZW的编码程序，以一个文本文件作为输入，得到输出的LZW编码文件。
文件编码前：

文件编码后：

2. 以实验步骤一得到的编码文件作为输入，编写LZW的解码程序
文件解码后：

3.选择至少十种不同格式类型的文件，使用LZW编码器进行压缩得到输出的压缩比特流文件。对各种不同格式的文件进行压缩效率的分析。

文件选取：

效率分析：

五、总结

不是所有文件经过压缩后体积都能下降，因为字典本身也要占一定体积，很有可能起不到压缩的效果，例如本身体积就很小的文件，就很难体现压缩效果