信息熵与压缩编码基础

什么是信息熵

定义：按照香农的理论，在有限的互斥和联合穷举事件合集中，熵为事件的信息量的平均值，也称事件的平均信息量。
在数学上表示为发

例题

一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？


采用香农-凡诺编码
按照概率大小排序，再分割E,C分为19和23，再从C，A，B，D中分割C,A分为了9，14，再从A,B,D中分割为A,B分为6和8,再将B和D分割。