信息熵与压缩编码基础

本次实验，我将对于以下问题进行解决

• 什么是信息熵？
• 一串消息包含A，B，C，D，E共5类符号，其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少？如果分别采用香农-凡诺编码，霍夫曼编码，压缩率分别是多少？
• 一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节？ 如果将其保存为非压缩格式的BMP文件，文件有多少字节？请用实例验证。

1 .什么是信息熵

信息熵在网上有很多客观的解释：

• 信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少信息量（百度百科）
• 1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C.E.Shannon（香农）从热力学中借用过来的。热力学中的热熵是表示分子状态混乱（百度百科）
• 信息熵定义公式：
  

综上所述，我认为：假如有人说了很多话，有些句子信息量很大，有些句子信息量很小，造成了不确定性，于是去除了语句中的”废话“，去除后语句中的平均信息量称为“信息熵”

2.问题解答

题目在上方已给出，接下来进入解答