信息熵的理解

信息熵的由来：

信息是个很抽象的概念。人们常常说信息很多，或者信息较少，但却很难说清楚信息到底有多少。比如一本五十万字的中文书到底有多少 信息量。

直到1948年，香农提出了“信息熵”的概念，才解决了对信息的量化度量问题。信息熵这个词是C．E．香农从热力学中借用过来的。热力学中的热熵是表示分子状态混乱程度的物理量。香农用信息熵的概念来描述信源的不确定度。

信息论之父 克劳德·艾尔伍德·香农第一次用数学语言阐明了概率与信息冗余度的关系。

信息熵：信息的基本作用就是消除人们对事物的不确定性。多数粒子组合之后，在它似像非像的形态上押上有价值的数码，具体地说，这就是一个在博弈对局中现象信息的混乱。 信息熵是 信息论 中用于度量信息量的一个概念。一个系统越是有序，信息熵就越低；

反之，一个系统越是混乱，信息熵就越高。所以，信息熵也可以说是系统 有序化程度的一个度量。

me对信息熵的理解：

众所周知，键盘上的26个英文字母是根据使用频率排列的，那么假如每个字母使用的频率相同，每个字母的概率都是二十六分之一，我们现在是要写一篇文章，如果是有260个字母，那么现在不出意外的情况下会有十个a，十个b。。。。但是现实情况是每个字母的使用频率不相同，如果a字母的使用频率时候十分之一，那么现在会有就是按照一般情况来说会有26个a，v的使用频率比较小，假如是260分之一，那么可能会不出现，所以现在的文章里面会只有25个字母，相比较二十六个字母来说，就是信息量会少一些，当然这只是我自己的理解，方式还有很多