香农熵(信息熵):信息熵是一个数学上颇为抽象的概念,在这里不妨把信息熵理解成某种特定信息的出现概率(离散随机事件的出现概率)。一个系统越是有序,信息熵就越低;反之,一个系统越是混乱,信息熵就越高。信息熵也可以说是系统有序化程度的一个度量
以下转载自知乎大神的回答,仅供自己学习参考使用,原文链接:https://www.zhihu.com/question/24053383/answer/26590199
熵的概念
1、原理一:微观状态等概率原理
假设有5枚硬币,每一枚硬币要么正面(1)朝上要么反面朝上(0),“00010”就是一个微观状态,每个硬币有(0、1)两种可能,于是一共有“2的5次方=32种”可能。注意,记录微观状态的时候,“00010”和“00100”是两种不同的状态。
2、原理二:全同粒子原理(全同硬币)
由于这些硬币宏观上是不能被区分的,于是“00010”和“00100”这两种微观状态,对应于同一种宏观状态——即:1个正面4个反面——可以数出来,这种宏观状态出现的概率(记做:P=5/32)(也叫做微观状态数为5)。
3、结论呼之欲出:二项分布,高斯分布
我们已经知道,微观状态等概率分布;那么宏观状态如何分布呢?答案就是中学学过的二项分布;当硬币很多很多的时候,就过渡到宏观状态的高斯分布。高斯分布什么特点呢?两边概率很小,中间概率很大。当硬币非常非常多的时候,中间一小块区域的概率近乎于100%。也就是说,中间的那些宏观状态,拥有的微观状态数(记做:W)非常大。
4、什么是熵(记做:S)?
熵的统计学定义就是:某个宏观状态的微观状态数,取对数(S=lnW)。可以看得出来,熵越大的宏观状态,具有越大的出现概率。
5、所谓熵增:
更为形象的事件是:1、这无数多个硬币,不是躺在桌子上的,而是在时常地跳动,对于某个硬币来说,它一会儿正面一会儿反面。但是对于所有硬币这个整体,它基本上是50%正面和50%反面。2、如果在某一时刻,你强行让所有硬币都是正面(此宏观状态的微观状态数为1,熵最小),但是你阻止不了它跳动,这些硬币很快就会“演化成”熵最大的宏观状态,是谓熵增。
6、补充:
理论上,硬币世界是可以演化到全部正面或全部反面的”小熵“状态,但是,动辄阿伏伽德罗常数数量级(10^23)的统计结果会告诉你,这个概率非常非常非常小,高斯分布的极限是什么?函数,就是在熵最大的地方的一个窄条。