读书笔记||各种熵的笔记 - v -

参考资料：
《信息论基础与应用》
如何通俗的解释交叉熵与相对熵？
通俗理解信息熵

---

Note

信息： 对事物运动状态或存在方式不确定性的描述

数学语言中，不确定性就是随机性，具有不确定性的事件就是随机事件

消息用随机事件表示，发出这些消息的信源用随机变量表示。

---

自信息和互信息

1、自信息 (self-information)
$$I(x_i)=-\log p(x_i)=\log \frac{1}{p(x_i)}$$
其中$I(x_i)$有两种含义：

• 事件$x_i$发生前，等于事件$x_i$发生的不确定性的大小
• 事件$x_i$发生后，表示事件$x_i$包含或所能提供的信息量

自信息量的单位与所用对数的底有关：

• 对数的底为$2$，信息量的单位为比特(bit, binary unit)
• 对数的底为$e$，信息量的单位为奈特(nat, natural unit)
• 对数的底为$10$，信息量的单位为哈特莱(Hartly)
• 如果取以$r$为底的对数$(r>1)$，则$I(x_i)=-{\log }_{2}p(x_i)$($r$进制单位)。

2、互信息 (Mutual Information)

定义: 一个事件$y_j$所给出的关于另一个事件$x_i$的信息，用$I(x_i;y_j)$表示。
$$I(x_i;y_j)=I(x_i)-I(x_i|y_j)=\log \frac{p(x_i|y_j)}{p(x_i)}$$
互信息表示的是，已知事件$y_j$后消除的关于$x_i$的不确定性。

---

平均自信息

• 用来表示整个信源的不确定度，又称为信息熵、信源熵，简称熵。
• 信息熵只会减少不会增加
• 信息熵衡量了系统的不确定性，而我们要消除这个不确定性，所要付出的最小努力（猜题次数、编码长度等）的大小就是信息熵。
  $$H(x)=-\sum _{i=1}^{q}p(x_i)\log x_i$$

信息熵为什么采取负对数($-\log p_k)$形式？

由以下条件可推导：

• 越小概率的事情发生了产生的信息量越大
• 越大概率的事情发生了产生的信息量越小
• 具体事件的信息量应该是随着其发生概率而递减的，且不能为负
• 两个事件同时发生时获得的信息应该等于观察到的事件各自发生时获得的信息之和

联合熵

• 联合自信息的数学期望
• 二维随机变量$XY$的不确定性的度量

公式化描述：
$$\begin{array}{rl}H(XY)& =\sum _{i=1}^n\sum _{j=1}^{m}p(x_i{y}_j)I(x_i{y}_j)\\ & =-\sum _{i=1}^n\sum _{j=1}^{m}p(x_i{y}_j)\log (x_i{y}_j)\end{array}$$

条件熵

• 不同的$x_i$对应的$H(Y|x_i)$是变化的。对$H(Y|x_i)$的所有可能值进行统计平均 ，就可以得出给定$X$时 $Y$的条件熵 $H(Y|X)$

公式化描述：

$$\begin{array}{rl}H(Y|X)& =\sum _{i}p(x_i)H(Y|x_i)\\ & =-\sum _i\sum _{j}p(x_i)p(y_j|x_i)\log p(y_j|x_i)\\ & =-\sum _i\sum _{j}p(x_i{y}_j)\log p(y_j|x_i)\end{array}$$

其中，$H(Y|X)$表示已知X时，Y的条件熵

注：$H(Y|x_i)=p(y_j|x_i)\log p(y_j|x_i)$

---

交叉熵

• 其用来衡量在给定的真实分布下，使用 非真实分布所指定的策略 消除系统的不确定性所需要付出的努力的大小。

公式：
$$\sum _{k=1}^N{p}_k{\log }_2\frac{1}{q_k}$$

其中$p_k$为真实分布，$q_k$表示非真实分布。

交叉熵越低，算法产生的策略越接近最优策略，这个算法就越好。
(个人认为这是损失函数多使用交叉熵的原因)

---

相对熵（KL散度）

• 用来衡量两个取值为正的函数或概率分布之间的差异
• 相对熵 = 某个策略的交叉熵 - 根据系统真实分布计算而得的信息熵（即最优策略）

$$\sum _{k=1}^N{p}_k{\log }_2\frac{p_k}{q_k}$$