机器学习中的数学：信息论(Information Theory)

参考：Dive into Deep Learning A. zhang ect Chapter 18 Appendix: Mathematics for Deep Learning

利用信息论我们可以测量或者比较在不同的信号（signals）中信息。在这部分，我们主要讨论机器学习对信息论的一些概念和应用。
首先我们先简要描述介绍一下机器学习和信息论之间的关系。机器学习的主要的任务就是从数据中提取出有价值的信息，然后利用这些信息去做一些预测。而信息论主要研究信息的编码、解码、转换和操作（sencoding, decoding, transmitting, and manipulating information）。所以，我们可以利用信息论来讨论机器学习在训练中对信息的处理过程。

信息（Information）

信息就是能够将所有事情通过一种或者是多种编码格式编码成一个特定的序列。但是怎么样编码才能正确地表述事物所具有的信息量呢？在我们描述一个事件的时候，如果这件事情是不寻常的，这时候我们需要更多的信息来描述，反之需要更少的信息。这就好比说一个普通的碗和清朝乾隆皇帝御用的碗，后者是比较少见的，需要更多的必要信息才能描述清楚它的特征。所以可以将信息表示为事件发生的抽象概率。

自信息（Self-information）

香农（Shannon）将比特（bit）作为信息的单位，这将时间发生的概率转换成比特数。这样，对于一个长度为$n$的二进制序列所包含的信息为$n$比特。
假设二进制序列每一个位置为1或者0的概率相等（都为$\frac{1}{2}$）,所以对于一个事件$X$,这个事件为：一个长度为$n$二进制序列，每种序列出现的概率为$\frac{1}{2^n}$,香农定义了自信息，将事件的概率转换成了比特数：
$$I(x)=-{\log }_2(p)$$
举例来说，对于一个序列“0010”的自信息为：
$$I("0010")=-{\log }_2(p("0010"))=-{\log }_2(\frac{1}{2^4})=4bits$$
* 在本章节中，我们省略log的下标，如无特殊说明都表示 ${\log }_{2}p$

熵（Entropy）

自信息只能描述一个离散事件的信息，这部分介绍能够任意随机变量的描述方式。

提出熵的动机（Motivating Entropy）

熵的形式受限于香农熵定理：

1. 我们通过观察随机变量得到的信息与随机变量的元素的名称无关，与发生概率为0的元素无关。
2. 两个随机变量一起观测得到的信息 $\le$ 两个随机变量分开观测得到的信息。当两个随机变量相互独立的时候，取得等号。
3. 通过一个确定事件所得到的信息为0

我们可以将抛掷一个完全均匀的硬币所得到的信息为1比特作为基准，以消除使用不同的基本单位而导致的对同一事件的信息量上的差异。

定义（Definition）

对于一个随机变量$X$, 遵循概率分布$P$,概率密度函数或概率质量函数为$p(x)$,我们利用熵来描述信息的期望值：
$$H(x)=-E_{x\sim P}[\log p(x)]$$
具体来说：
$$H(X)=\{\begin{array}{rl}& -\sum _i{p}_i\log p_i,p_i=P(X_i)X是离散型随机变量\\ & -{\int }_{x}p(x)\log p(x)dxX是连续型随机变量\end{array}$$
连续性随机变量的熵也被称为微分熵（Differential Entropy）

解释（Interpretation）

在这一节中，主要解释两个关于上述公式的问题。

1. 为什么要使用负对数？
   首先是为什么要使用对数。这是为了保证熵对独立随机变量的可加性。对于一系列相互独立的事件发生的概率为$f_i(x)$, 那么所有事件发生的概率为 $p(X)={\prod }_i{f}_i(x)$,使用对数可以将这个连乘转换成连加。

2. 为什么添加负号？
   因为信息的定义。由于发生概率低的事件应该包含更多的信息，但是对数是一个单调递增函数，所以为了保证事件概率和对应的熵之间的反比例的关系，我们需要对对数加一个负号，让他变成单调递减函数。

3. 为什么需要期望函数？
   对于一个随机变量X，它的自信息（$-\log (p)$）就是对于某个输出的不确定性的数量。但是当事件发生的概率趋向于0的时候，这种不确定性就会趋向于$+\infty$.同样的，我们可以将熵解释为观测事件X的平均不确定性。举例子来说，对于一个模型的相互独立的输出$s_1,\cdots ,s_k$的对应的概率为$p_1,\cdots ,p_k$， 那么这个系统的熵就是输出值的平均自信息：
   $$H(S)=\sum _i{p}_i\cdot I(s_i)=-\sum _i{p}_i\cdot \log p_i$$

熵的性质（Properties of Entropy）

下面考虑随机事件$X$, 它对应的概率分布为$P$

• 对所有离散型随机变量$X$:$H(X)\ge 0$(连续性随机变量的熵可能会是负数)
• 假设一个随机事件$X\sim P(p.d.f=p(x))$，我们想用一个新的概率分布$Q(p.d.f=q(x))$来估计$P$则有：
  $$H(X)=-E_{x\sim P}[\log p(x)]\le -E_{x\sim P}[\log q(x)]$$
  当$P=Q$的时候，取得等号。
• 对于一个随机变量$X\sim P$, $x$将会传递最多的信息，如果他能将这些信息均匀地分布在所有可能的结果上。具体来说，对于一个概率分布$P$的k种相互独立的输出 { p 1 , ⋯   , p k } \{p_1,\cdots, p_k\} {p1​,⋯,pk​}:
  $$H(X)\le \log (k),withequalityifandonlyif{p}_i=\frac{1}{k},{\forall }_i$$
  但是如果$P$是一个连续性随机变量，那么处理过程就会很麻烦了。我们假设P在一个有限的区间内，那么，如果这个随机变量在这个区间上满足均匀分布，那么这个随机变量的熵的值将会是最大的。

互信息（Mutual Information）

在这部分，我们联合变量$(X,Y)$的熵。在本节中，我们使用的联合变量$(X,Y)$遵循联合概率分布$P$,概率密度函数为$P_{X,Y}(x,y)$,其中$X\sim p_X(x);Y\sim p_Y(y)$

联合熵(Joint Entropy)

联合熵与先前定义的熵的形式一致：
$$H(X,Y)=-E_{(x,y)\sim P}[\log p_{X,Y}(x,y)]\text{\hspace{1em}(*)}$$
具体形式为：
$$H(X,Y)=\{\begin{array}{rl}& -\sum _x\sum _y{p}_{X,Y}(x,y)\log p_{X,Y}(x,y),离散型\\ & -{\int }_{x,y}{p}_{X,Y}(x,y)\log p_{X,Y}(x,y)dxdy,连续型\end{array}$$
$(\ast )$表示一对随机变量的全部的不确定性。当$X=Y$的时候，$H(X,Y)=H(X)=H(Y)$,当X与Y相互独立的时候$H(X,Y)=H(X)+H(Y)$,所以有：
$$H(X),H(Y)\le H(X,Y)\le H(X)+H(Y)$$

条件熵（Conditional Entropy）

在机器学习中，我们更多的时候，我们更关注条件上而不是联合熵。例如我们要根据图片判断图片的标签，这就可以理解为在图片像素信息条件下的对标签的信息。条件熵的定义与之前的几种熵的定义相似：
$$H(Y|X)=-E_{(x,y)\sim P}[\log p(y|x)]$$
其中：$p(y|x)=\frac{p_{X,Y}(x,y)}{p_X(x)}$.条件熵与熵和联合熵的关系为：
$$H(Y|X)=H(X,Y)-H(X)$$
这样条件熵既可以理解为存在于Y中的而不存在与X中的的信息。

互信息（Mutual Information）

上面我们讨论了联合变量之中独有的信息，现在我们讨论两个变量之间共有的信息。所以根据定义可以得到（互信息:$I(X,Y)$）
$$I(X,Y)=H(X,Y)-H(Y|X)-H(X|Y)$$
将原先的定义式带入，整理可得：
$$I(X,Y)=E_x{E}_y\left\{p_{X,Y}(x,y)\log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)}\right\}$$
在本节中提到的定义之间的关系如下图：

互信息的性质(Properties of Mutual Information)

• 对称性：$I(X,Y)=I(Y,X)$
• 非负性：$I(X,Y)\ge 0$
• 如果两个随机变量是相互独立的，那么$I(X,Y)=0$
• 如果X是Y的可逆函数：$I(X,Y)=H(Y)=H(X)$

点间互信息（Pointwise Mutual Information）

点间互信息:$pmi(x,y)$就是互信息定义中的对数部分：
$$pmi(x,y)=\log \frac{p_{X,Y}(x,y)}{p_X(x)p_Y(y)}$$
他描述的是两个联合事件发生的概率比分别发生的概率的具体的数值关系。

互信息的应用（Applications of Mutual Information）

在自认语言处理中，歧义消除（Ambiguity Resolution）是一件比较难的事情。也就是一些词在文中的含义不是很明确。例如先前出现的新闻“亚马逊起火了”，我们不知道是公司起火了，还是那个雨林起火了。这时候就产生了歧义。我们先找出一组词，这些词与亚马逊公司有较大互信息。同样找到与亚马逊雨林有较大互信息的词，然后分析这些那些在文中有更高的出现频率。利用这个，我们能够了解新闻是关于公司的还是雨林的。

Kullback–Leibler 散度（Kullback–Leibler Divergence）

我们可以利用范数来表示任何维度两点之间的距离。现在我们想知道两个概率分布之间的距离（相似程度）。KL散度就是一种测量两种分布之间相似程度的量。

定义（Definition）

对于一个随机变量$X$遵循概率分布$P$,概率密度分布为$p(x)$.我们利用另一个概率分布$Q$($p.d.f=q(x)$),那么$P$和$Q$之间的KL散度（相对熵，Relative Entropy）定义为：
$$D_{KL}(P\Vert Q)=E_{x\sim P}[\log \frac{p(x)}{q(x)}]$$
可见DL散度就是在描述两个随机变量之间不确定性程度的相对关系。

性质（Properties）

• 非对称性：$D_{KL}(P\Vert Q)\ne D_{KL}(Q\Vert P)$
• 非负性：$D_{KL}(P\Vert Q)\ge 0$,当$P=Q$时取得等号。
• 如果$p(x)>0,q(x)=0$则$D_{KL}(P\Vert Q)=\infty$
• 以下三种表达式等价：
  $$D_{KL}(P(X,Y)\Vert P(X)P(Y))$$
  E Y { D K L ( P ( X ∣ Y ) ) ∥ P ( X ) ) } E_Y\{D_{KL}(P(X|Y))\|P(X))\} EY​{DKL​(P(X∣Y))∥P(X))}
  E X { D K L ( P ( Y ∣ X ) ∥ P ( Y ) ) } E_X\{D_{KL}(P(Y|X)\|P(Y))\} EX​{DKL​(P(Y∣X)∥P(Y))}

  For the first term, we interpret mutual information as the KL divergence between P(X, Y ) and the product of P(X) and P(Y ), and thus is a measure of how different the joint distribution is from the distribution if they were independent. For the second term, mutual information tells us the average reduction in uncertainty about Y that results from learning the value of the $X$ʼs distribution. Similarly to the third term.

交叉熵（Cross-Entropy）

对于一个二分类问题，预测值为${\hat{y}}_i=p_{\theta }(y_i|x_i)$.预测结果为1的概率为：${\pi }_i=p_{\theta }(y_i=1|x_i)$所以log似然方程为：
$$\begin{array}{rl}l(\theta )& =\log L(\theta )\\ & =\log \prod _{i=1}^n{\pi }_i^{y_i}(1-{\pi }_i{)}^{1-y_i}\\ & =\sum _{i=1}^n{y}_i\log ({\pi }_i)+(1-y_i)\log (1-{\pi }_i)\end{array}$$
我们的目标就是最大化这个似然函数，这种方法就是极大似然估计。看到式中的自然对数，我们可以联想到之前提到一些信息论的概念。这暗示我们这个函数可以从信息论的角度理解。

正式定义（Formal Definition）

我们假设有两个随机变量:$P\sim p(x);Q\sim q(x)$(前者是真实值的分布，后者是预测值的分布).，我们可以通过交叉熵来描述两种分布之间的散度：
$$CE(P,Q)=-E_{x\sim P}[\log (q(x))]$$
通过之前提到的关系式，可以将上式转化为：
$$CE(P,Q)=H(P)+D_{KL}(P\Vert Q)$$

性质（Properties）

交叉熵可以用于优化问题的损失函数，以下几种说法是等价的：

• 最大化分布对于分布P的预测概率(最大化$E_{x\sim P[\log (q(x))]}$)
• 最小化交叉熵$CE(P,Q)$
• 最小化KL散度

这些性质可以从交叉熵的定义中得出。注意因为P是真实值的分布，所以$H(P)$是一个常量。

交叉熵作为多元分类问题的目标函数（Cross-Entropy as An Objective Function of Multi-class Classification）

现在考虑一个k分类问题，这个分类问题的标签用独热编码（One-hot encoding）表示$y_i=(y_{i1},\cdots ,y_{ik})$,预测标签值为：
$${\hat{y}}_i=p_{\theta }(y_i|x_i)=\sum _{j=1}^k{y}_{ij}{p}_{\theta }(y_{ij}|x_i)$$
所以交叉熵可以表示为：
$$CE(y,\hat{y})=-\sum _{i=1}^n{y}_i\log {\hat{y}}_i=-\sum _{i=1}^n\sum _{j=1}^k{y}_{ij}\log (y_{ij}|x_i)$$
另一方面，我们可以利用极大似然估计来解决这个问题。假设一个随机变量$z=(z_1,\cdots ,z_k)$满足k分类多元伯努利分布，对应的概率为$p=(p_1,\cdots ,p_k)$,也就是：
$$p(z)=p(z_1,\cdots ,z_k)=Multi(p_1,\cdots ,p_k),where\sum _{i=1}^k{p}_i=1$$
z的联合概率质量函数为:
$$p^z=\prod _{j=1}^k{p}_j^{z_j}$$
所以对应的log似然方程为：
$$l(\theta )=\log L(\theta )=\log \prod _{i=1}^n{p}^{y_i}=\log \prod _{i=1}^n\prod _{j=1}^k{p}^{y_{ij}}=\sum _{i=1}^n\sum _{j=1}^k{y}_{ij}\log p_j$$
所以对于多分类问题最大化log似然函数等价于最小化交叉熵损失$CE(y,\hat{y})$