数字视频编码技术学习：熵编码

熵编码：原书给了一个定义是这样的—>熵编码是视频编码系统必不可少的一个关键环节，它负责利用信息熵原理进行数据的最终压缩。

这里明显是有两个概念在里面，信息熵、熵，初看这样的文字确实不明白，看来需要从基础概念学习起了。

对物理学有了解的人应该都大概知道一点熵，于是去查阅了物理学对熵的定义，熵：如果工作时都是用可逆机，而Q1/T1 = Q2/T2，那么从一个被吸收另一个被释放的意义上来说，温度T1的热量Q1“等效”于温度T2的热量Q2。这就启发了我们，如果称Q/T为某个量，就可以说：在可逆过程中，吸收和释放的Q/T是一样多；Q/T既不增加也不减少。这个Q/T称为熵。

信息熵是什么学科定义的呢，应该是类似信息学、信息论之类的嘛？赶紧问下百度百科：信息理论的鼻祖之一Claude E. Shannon把信息（熵）定义为离散随机事件的出现概率。所谓信息熵，是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率。而信息熵和热力学熵是紧密相关的。根据Charles H. Bennett对Maxwell’s Demon的重新解释，对信息的销毁是一个不可逆过程，所以销毁信息是符合热力学第二定律的。而产生信息，则是为系统引入负（热力学）熵的过程。所以信息熵的符号与热力学熵应该是相反的。

查到这里，感觉还是一头雾水。。。读书学习读书学习，想想还是赶紧回到书本正文上去，一遍读不懂不要紧，试试多读几遍？细读下去，发现当年的数学都还给老师了，而这篇内容却少不了数学分析，只能退而做简化学习了，简化到概念层吧！

学习的差距可能就是在这些地方慢慢拉大了，数学、物理、甚至于英语，都会成为拦路虎，想想也只能安慰自己，学点概念，懂点皮毛，重在应用，理论就先放弃吧。

一点其它概念：
极限熵：是表示该信息量所需要的最少比特数。
信源符号的最优熵编码是完全去除表示冗余，即编码比特率达到极限熵。

在信息论中，信息用熵来度量。每个信源符号所平均承载的信息量是极限熵（entropy rate）。