香农熵的概念

香农熵（信息熵）：信息熵是一个数学上颇为抽象的概念，在这里不妨把信息熵理解成某种特定信息的出现概率（离散随机事件的出现概率）。一个系统越是有序，信息熵就越低；反之，一个系统越是混乱，信息熵就越高。信息熵也可以说是系统有序化程度的一个度量

以下转载自知乎大神的回答，仅供自己学习参考使用，原文链接：https://www.zhihu.com/question/24053383/answer/26590199

熵的概念

1、原理一：微观状态等概率原理

假设有5枚硬币，每一枚硬币要么正面（1）朝上要么反面朝上（0），“00010”就是一个微观状态，每个硬币有（0、1）两种可能，于是一共有“2的5次方=32种”可能。注意，记录微观状态的时候，“00010”和“00100”是两种不同的状态。

2、原理二：全同粒子原理（全同硬币）

由于这些硬币宏观上是不能被区分的，于是“00010”和“00100”这两种微观状态，对应于同一种宏观状态——即：1个正面4个反面——可以数出来，这种宏观状态出现的概率（记做：P=5/32）（也叫做微观状态数为5）。

3、结论呼之欲出：二项分布，高斯分布

我们已经知道，微观状态等概率分布；那么宏观状态如何分布呢？答案就是中学学过的二项分布；当硬币很多很多的时候，就过渡到宏观状态的高斯分布。高斯分布什么特点呢？两边概率很小，中间概率很大。当硬币非常非常多的时候，中间一小块区域的概率近乎于100%。也就是说，中间的那些宏观状态，拥有的微观状态数（记做：W）非常大。

4、什么是熵(记做：S)？

熵的统计学定义就是：某个宏观状态的微观状态数，取对数（S=lnW）。可以看得出来，熵越大的宏观状态，具有越大的出现概率。

5、所谓熵增：

更为形象的事件是：1、这无数多个硬币，不是躺在桌子上的，而是在时常地跳动，对于某个硬币来说，它一会儿正面一会儿反面。但是对于所有硬币这个整体，它基本上是50%正面和50%反面。2、如果在某一时刻，你强行让所有硬币都是正面（此宏观状态的微观状态数为1，熵最小），但是你阻止不了它跳动，这些硬币很快就会“演化成”熵最大的宏观状态，是谓熵增。

6、补充：

理论上，硬币世界是可以演化到全部正面或全部反面的”小熵“状态，但是，动辄阿伏伽德罗常数数量级（10^23）的统计结果会告诉你，这个概率非常非常非常小，高斯分布的极限是什么？函数，就是在熵最大的地方的一个窄条。