熵学习笔记

微观状态等概率原理：
假设有5枚硬币，每一枚硬币要么正面（1）朝上要么反面朝上（0），“00010”就是一个微观状态，每个硬币有（0、1）两种可能，于是一共有“2的5次方=32种”可能。
注意，记录微观状态的时候，“00010”和“00100”是两种不同的状态。

全同粒子原理：
由于这些硬币宏观上是不能被区分的，于是“00010”和“00100”这两种微观状态，对应于同一种宏观状态——即：1个正面4个反面——可以数出来，
这种宏观状态出现的概率（记做：P=5/32）（也叫做微观状态数为5）。

微观状态等概率分布；宏观状态呈二项分布，当硬币很多很多的时候，就过渡到宏观状态的高斯分布。高斯分布特点是两边概率很小，中间概率很大。
当硬币非常非常多的时候，中间一小块区域的概率近乎于100%。也就是说，中间的那些宏观状态，拥有的微观状态数（记做：W）非常大。

熵的统计学定义就是：某个宏观状态的微观状态数，取对数（S=lnW）。可以看得出来，熵越大的宏观状态，具有越大的出现概率。

熵增：
1、这无数多个硬币，不是躺在桌子上的，而是在时常地跳动，对于某个硬币来说，它一会儿正面一会儿反面。但是对于所有硬币这个整体，它基本上是50%正面和50%反面。
2、如果在某一时刻，你强行让所有硬币都是正面（此宏观状态的微观状态数为1，熵最小），但是你阻止不了它跳动，这些硬币很快就会“演化成”熵最大的宏观状态，是谓熵增。
正是熵增定律，解释了一切事物都是从有序趋向无序，也就说宇宙也是从有序走向无序。当事物变得无序（disorder）时，信息量（熵）就增加


熵与概率的关系

计算公式：H(X) = -p(x)log2(p(x))-(1-p(x))log2(1-p(x))

可以看到当概率为0.5时，熵最大。越确定(deterministic)的事件的熵越低，越随机(probabilistic)的事件的熵越高。
香农熵：H(X) = -(p1(x)logp1(x)+p2(x)logp2(x)+...+pn(x)logpn(x))，其中H(X)是熵，X是离散随机变量，pi(x)指pi(X=x)的概率。log的基底可以变化。一般会用自然底数e，单位是nat。用2为底数时，单位是bit。

生命要在这个随机变化的世界中生存，它就需要知道如何根据环境变化做出相应的行动来避免毁灭。把不确定的环境转换成确定的行动。会将无序的事物重新整理到有序的状态。生物仅仅活着就需要减熵，否则就会被不确定性会消灭。熵增意味着信息量越来越巨大，生物必须能够压缩这些不确定的信息并记住信息是如何被压缩的。
压缩信息的方法就是知识。







参考：
https://www.zhihu.com/question/24053383
http://blog.csdn.net/haluoluo211/article/details/53033429