贪心算法(Greedy Algorithm)之霍夫曼编码(Huffman codes)

其实这个霍夫曼编码本身不是一个很难的技巧(也是霍夫曼在期末考试的过程中想出来的方案：）)，因为中间用到了贪心的思想，所以也在这里列举了出来。这个问题本身在计算机系的很多教材上都出现过。这里权且记录下来。

霍夫曼的编码是这样的。假设我有一组带压缩的文本，里面各个字符出现的频率不同，现在需要对他们进行压缩。比如

 

假设我们有100,000个字符的文本.最直观的压缩办法就是原来每个字符要8个bits。现在我一共只有6个字符，那我就把每个字符用3个二进制位来表示，这样所有100,000个字符用300,000个bit就可以表示了。这种是最直观的方案。但是霍夫曼提出的方案更精妙一些。他提出，基于每个字符出现的频率不同，可以让出现次数多的字符用更少的二进制位来描述，出现次数少的字符用多一些二进制来描述。比如上图显示的这个Variable-length codeword里面。a出现的频率最高，所以用一个二进制位0来表示。而f出现的频率很小，所以用4个二进制位来表示。这样总共 (45 · 1 + 13 · 3 + 12 · 3 + 16 · 3 + 9 · 4 + 5 · 4) · 1,000 = 224,000 bits。可以看到这个是比原来的方案更优化的解法