一、什么是信息熵
信息熵是一个非常模糊的概念,信息熵是用来表示信息的量化度量。
二、实例问题
①一串消息包含A,B,C,D,E共5类符号,其内容是AABBBBAAAACCCCCCCCCEEEEEEDDDDEEEEEEEEEEEEE, 请问其信息熵是多少?如果分别采用香农-凡诺编码,霍夫曼编码,压缩率分别是多少?
②一幅1024*768的24位RGB彩色图像一共在内存中占有多少字节? 如果将其保存为非压缩格式的BMP文件,文件有多少字节?请用实例验证
答:一幅1024768的24位RGB彩色图像一共有10247683=786432个像素
每个像素有三个字节所以一共有7864323=2359296个字节
实例演示: