熵概述
熵entropy
,用来描述概率分布的混乱程度,描述包含的信息量。
一般认为,越混乱的系统包含的信息量越大,反之确定的概率为1的系统不包含任何信息量。
以猜数字举例,猜1到100的一个数字,采用二分法的话需要log_2(100)
次,从这个角度理解,熵
是所有信息进行二进制编码需要的位数。
更一般的,对于一个概率分布 X∼P(xi=pi) ,其熵为:
熵有以下特点:
- P=1 的系统熵最小,为 0 。
- 均匀分布的系统熵最大,为
H=log2(n) ,反之系统越偏斜熵越小。 - 对于自然界中的一个系统,熵只会增加不会减少,并且过程不可逆。
关于熵的公式有以下几个:
其中,
H(X,Y)
可以理解成
X,Y
的联合概率分布的熵,I(X,Y) 可以理解成增加
Y
的information gain
以及mutual entropy
。
贝叶斯概述
熵与贝叶斯
熵和贝叶斯都有一个大前提——知道概率分布。但是两者侧重不一样:
- 贝叶斯侧重于计算出新的概率分布,根据新的知识提取信息。
- 熵侧重于
keep score
,量化提取信息的程度。
例子
Monty Hall
三门问题(Monty Hall problem)亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论,大致出自美国的电视游戏节目Let’s Make a Deal。问题名字来自该节目的主持人蒙提·霍尔(Monty Hall)。参赛者会看见三扇关闭了的门,其中一扇的后面有一辆汽车,选中后面有车的那扇门可赢得该汽车,另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门,但未去开启它的时候,节目主持人开启剩下两扇门的其中一扇,露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是:换另一扇门会否增加参赛者赢得汽车的机会率?如果严格按照上述的条件,即主持人清楚地知道,哪扇门后是羊,那么答案是会。换门的话,赢得汽车的机率是2/3。
这道题的关键是,主持人的操作,改变了原来的概率分布!
从概率的观点来看,坚持观点获胜的概率是 0.33 ,改变观点获胜的概率是 0.67 。
从熵的观点来看,主持人提供信息之前的熵是
H(X)=log2(3)=1.58
,主持人提供信息之后的熵是
H(X|Y)=0.33log2(3)+0.67log2(1.5)=0.92
,所以主持人的information gain
是
I(X,Y)=1.58−0.92=0.66
,占原来的熵比例是
0.66/1.58=41.8%
,也就是说,主持人将结果的不确定性减少了
41.8%
。
另一个的Monty Hall
现在将原问题稍作修改,有5个门,主持人打开没有奖的两个门。
从概率的观点来看,不改变观点获胜的概率是 1/5 ,改变观点获胜的概率是 2/5 ,失败的概率是 2/5 。
从熵的角度上看,原来的熵是 2.32 ,主持人操作后熵是 1.52 ,熵减了 0.8 ,减少了 34.5% 。
投掷硬币
小明喜欢和大家玩投掷硬币的游戏, 30% 的时间他用均匀的硬币, 70% 的时间他用不均匀的硬币。均匀硬币正反的概率都是 0.5 ,不均与的硬币正反的概率分别是 0.4,0.6 。
现在投掷的第一枚是正面,那么会造成:
Null | Fair | Un-Fair | Entropy |
---|---|---|---|
实验前 | 0.3 | 0.7 | 0.8813 |
实验后 | 0.35 | 0.65 | 0.9341 |