机器学习中的熵

1 信息熵

熵是热力学中的一个参量，反映了体系的混乱程度。1948年，克劳德·爱尔伍德·香农将热力学中的熵引入信息论，所以也被称为香农熵 ，信息熵 。

为引出信息熵，首先定义信息量。当我们观测一个随机变量的具体值的时候会从中获得一定信息，而获得了多少信息则由信息量来度量。一般来说，一件越小概率的事情发生了，产生的信息量就越大；而越大概率的事情发生了产生的信息量越小，比如太阳从西边落下，这件事情肯定发生，没有任何信息量。

从以上可知，信息量应该依赖于概率分布，且随着概率的增加递减，为了找到这个函数，首先考虑一条性质：假设有两个不相关的随机变量$x$和$y$，那么同时观测两个随机变量所获得的信息量应该等于分别观测所获得的信息量之和，即
$$h(x,y)=h(x)+h(y)$$
因为两个变量不相关，因此$p(x,y)=p(x)p(y)$，从这可以看出信息量一定与$p(x)$的对数有关，因为$\log xy=\log x+\log y$，最终信息量的表达式是
$$h(x)=-\log p(x)$$
之所以加上符号是为了确保信息量是正数，当$p(x)=0$时规定$h(x)=0$，$\log$函数底数的选择是任意的，通常是$2$或者自然对数$e$。

最后给出信息熵的定义，信息熵是随机变量所有可能结果所产生的信息量的期望，即
$$H(X)=-\sum _{i=1}^{n}p(x_i)\log p(x_i)$$
它是随机变量不确定性的度量。随机变量的取值个数越多，信息熵就越大，不确定性就越高。当随机变量服从均匀分布时，信息熵最大，为$\log n$。对于多维随机变量可以将信息熵推广为联合熵
$$H(X_1,...X_n)=-\sum _{x_1,...x_n}p(x_1,...,x_n)\log p(x_1,...,x_n)$$

2 条件熵

条件熵$H(Y\mid X)$表示在已知随机变量$X$的条件下随机变量$Y$的不确定性，定义为已知$X$的条件下$Y$的条件概率分布的熵对$X$的期望
$$\begin{array}{rl}H(Y\mid X)& =\sum _{x}p(x)H(Y\mid X=x)\\ & =-\sum _{x}p(x)\sum _{y}p(y\mid x)\log p(y\mid x)\\ & =-\sum _x\sum _{y}p(x,y)\log p(y\mid x)\\ & =-\sum _{x,y}p(x,y)\log p(y\mid x)\end{array}$$
条件熵相当于联合熵$H(X,Y)$减去单独的熵$H(X)$
$$\begin{array}{rl}H(X,Y)-H(X)& =-\sum _{x,y}p(x,y)\log p(x,y)+\sum _{x}p(x)\log p(x)\\ & =-\sum _{x,y}p(x,y)\log p(y\mid x)-\sum _{x,y}p(x,y)\log p(x)+\sum _{x}p(x)\log p(x)\\ & =H(Y\mid X)-\sum _x\sum _{y}p(x,y)\log p(x)+\sum _{x}p(x)\log p(x)\\ & =H(Y\mid X)-\sum _{x}p(x)\log p(x)+\sum _{x}p(x)\log p(x)\\ & =H(Y\mid X)\end{array}$$
可以理解为描述$X$和$Y$所需要的信息等于描述$X$所需要的信息加上已知$X$描述$Y$所需要的信息。

3 相对熵

相对熵又称为$KL$散度，可以用来衡量两个分布之间的差异，假设随机变量$X$有两个单独的概率分布$p(x)$和$q(x)$，则$p$对$q$的相对熵是
$$D_{KL}(p\Vert q)=\sum _{x}p(x)\log \frac{p(x)}{q(x)}$$
这个公式所表示的意义是$p$和$q$的对数差相对$p$的期望，显然$D_{KL}$越小，$q$分布和$p$分布越接近。在机器学习中，相对熵表示用$p$来描述问题而不是用$q$来描述问题所获得的信息增益，可以将$p$理解为真实分布，$q$理解为预测分布。

有一点需要注意的是，相对熵不具有对称性，即
$$D_{KL}(p\Vert q)\ne D_{KL}(q\Vert p)$$

4 交叉熵

对相对熵的公式进行变形可得
$$\begin{array}{rl}{D}_{KL}(p\Vert q)& =\sum _{x}p(x)\log p(x)-\sum _{x}p(x)\log q(x)\\ & =-H(p)+[-\sum _{x}p(x)\log q(x)]\end{array}$$
等式左侧的前一部分是$p$的信息熵，后一部分被称作交叉熵
$$H(p,q)=-\sum _{x}p(x)\log q(x)$$
交叉熵可以看作使用非真实分布$q$所得到的信息熵，信息熵则是真实分布，使用非真实分布多出来的一部分熵就是相对熵
$$D_{KL}(p\Vert q)=H(p,q)-H(p)$$
在机器学习中，可以使用相对熵衡量真实分布与预测分布之间的差异，由于$H(p)$固定，因此只需关注交叉熵。逻辑回归的损失函数就是交叉熵。

参考

1、https://www.cnblogs.com/kyrieng/p/8694705.html#name2

2、https://blog.csdn.net/tsyccnh/article/details/79163834

3、https://www.cnblogs.com/IamJiangXiaoKun/p/9455689.html