浅谈熵与贝叶斯

最新推荐文章于 2023-04-18 17:37:48 发布

Young_Gy

最新推荐文章于 2023-04-18 17:37:48 发布

阅读量2.8k

点赞数

文章标签：熵贝叶斯

本文链接：https://blog.csdn.net/young_gy/article/details/50118049

版权

熵概述

熵entropy，用来描述概率分布的混乱程度，描述包含的信息量。
一般认为，越混乱的系统包含的信息量越大，反之确定的概率为1的系统不包含任何信息量。

以猜数字举例，猜1到100的一个数字，采用二分法的话需要log_2(100)次，从这个角度理解，熵是所有信息进行二进制编码需要的位数。

更一般的，对于一个概率分布 $X \sim P(x_i = p_i)$ ，其熵为：

H = - \sum i N p i l o g (p i)

$H =- \sum_{i}^N p_i log(p_i)$

熵有以下特点：

$P=1$ 的系统熵最小，为 $0$ 。
均匀分布的系统熵最大，为 $H = log_2(n )$ ，反之系统越偏斜熵越小。
对于自然界中的一个系统，熵只会增加不会减少，并且过程不可逆。

关于熵的公式有以下几个：

H (X | Y) H (X, Y) I (X, Y) = \sum i N p (y i) * H (X | y = y i) = H (X) + H (Y) - I (X, Y) = H (X) - H (X | Y)

$\begin{split} H(X |Y) &= \sum_i^{N} p(y_i)*H(X|y=y_i) \\ H(X,Y) &= H(X) + H(Y) - I(X,Y) \\ I(X,Y) &= H(X) - H(X|Y) \end{split}$

其中， $H(X,Y)$ 可以理解成 $X,Y$ 的联合概率分布的熵，I(X,Y) 可以理解成增加 $Y$ 的information gain以及mutual entropy。

贝叶斯概述

P (X | Y) = P ( Y | X ) P ( X ) P ( Y )

$P(X|Y)= \frac{P(Y|X)P(X)}{P(Y)}$

熵与贝叶斯

熵和贝叶斯都有一个大前提——知道概率分布。但是两者侧重不一样：

贝叶斯侧重于计算出新的概率分布，根据新的知识提取信息。
熵侧重于keep score，量化提取信息的程度。

例子

Monty Hall

三门问题（Monty Hall problem）亦称为蒙提霍尔问题、蒙特霍问题或蒙提霍尔悖论，大致出自美国的电视游戏节目Let’s Make a Deal。问题名字来自该节目的主持人蒙提·霍尔（Monty Hall）。参赛者会看见三扇关闭了的门，其中一扇的后面有一辆汽车，选中后面有车的那扇门可赢得该汽车，另外两扇门后面则各藏有一只山羊。当参赛者选定了一扇门，但未去开启它的时候，节目主持人开启剩下两扇门的其中一扇，露出其中一只山羊。主持人其后会问参赛者要不要换另一扇仍然关上的门。问题是：换另一扇门会否增加参赛者赢得汽车的机会率？如果严格按照上述的条件，即主持人清楚地知道，哪扇门后是羊，那么答案是会。换门的话，赢得汽车的机率是2/3。

这道题的关键是，主持人的操作，改变了原来的概率分布！

从概率的观点来看，坚持观点获胜的概率是 $0.33$ ，改变观点获胜的概率是 $0.67$ 。

从熵的观点来看，主持人提供信息之前的熵是 $H(X)= log_2(3) = 1.58$ ，主持人提供信息之后的熵是 $H(X|Y) = 0.33log_2(3) + 0.67log_2(1.5) = 0.92$ ，所以主持人的information gain是 $I(X,Y) = 1.58-0.92=0.66$ ，占原来的熵比例是 $0.66/1.58=41.8\%$ ，也就是说，主持人将结果的不确定性减少了 $41.8\%$ 。