信息熵

信息熵

信息熵是统计学习中常见概念，用来衡量一个随机变量$X$的不确定性，不确定性和概率分布$p(X)$有关，因此有下式：
$H(X)$或者$H(p)=-\sum _{x}p(x)log(p(x))=E_{x}log(\frac{1}{p(x)})$。
其在信息论中的含义为，编码随机变量X所需的最小的平均bit数。
由此衍生出来的概念有交叉熵, 相对熵（也叫KL散度），条件熵，联合熵。

交叉熵

假设$p$为随机变量$X$的真实分布(如果未知，可以通过采样近似)，$q$为随机变量$X$的近似分布，则**$p$对$q$的**交叉熵，：
$H(p,q)=-\sum _{x}p(x)log(q(x))$。
其含义为基于分布$q$对来源于分布$p$的样本$X$进行编码所需平均bit数。（分布$q$必须已知，分布$p$可以已知也可以未知，如果$p$未知，则通过来源于分布$p$的大量样本，采样法求平均最小bit数）。

相对熵

相对熵，也叫KL散度，是衡量两个分布的距离的,$p$对$q$的相对熵为()：
$KL(p||q)=-\sum _{x}p(x)log(\frac{q(x)}{p(x)})=-\sum _{x}p(x)log(q(x))-(-\sum _{x}p(x)log(p(x)))$
其含义为基于分布$q$对来源于分布$p$的样本$X$进行编码平均所多花费的bit数。
相对熵=交叉熵-信息熵。

条件熵

条件熵，即已知随机变量$X$，随机变量$Y$的熵：
$$\begin{gathered} H(Y|X) \\ =\sum _{x}p(X=x)H(Y|X=x) \\ =-\sum _{x}p(X=x)\sum _{y}p(Y=y|X=x)log(p(Y=y|X=x)) \\ =-\sum _{x,y}p(x,y)log(p(y|x)) \end{gathered}$$。

联合熵

$H(X,Y)=-\sum _X\sum _{Y}p(X,Y)log(p(X,Y))$,
$H(X,Y)=H(Y|X)+H(X)$。

注意1：

在EM算法与变分推断中
$logp(x)=logp(x,z)-logp(z|x)$
$logp(x)=ELBO(q)+KL(q||p)$
$ELBO(q)=\sum _{z}q(z)log\frac{p(x,z)}{q(z)}$
$KL(q||p)=-\sum _{z}q(z)log\frac{p(z|x)}{q(z)}$

注意2：

在多类分类任务的交叉熵损失函数中
$L(x,y)=-\sum _{k=1}^K{y}_{k}log({\hat{y}}_k)$
$K$为类别数，
$y_k$为观察样本$x$的标注被转化为$K$维one-hot向量后，第$k$维的值(0或1)，
${\hat{y}}_k$为观察样本$x$属于类别$k$的预测概率$\hat{y}=h_{\theta }(x)$。

注意3：

在多类分类任务的对数或对数似然损失函数中
$L(x,y)=-log(p(Y=y|X=x))$。
对数损失函数和交叉熵损失函数是等价的。计算对数损失函数实际就是计算交叉熵损失函数。
这两种损失函数可以由极大(log)似然估计自然导出[2]。
$$\begin{gathered} log\prod _{n=1}^{N}p(Y=y^{(n)}|X=x^{(n)};\theta ) \\ ={\sum }_{n=1}^{N}log(p(Y=y^{(n)}|X=x^{(n)};\theta )) \end{gathered}$$
$$\begin{gathered} logp(Y=y^{(n)}|X=x^{(n)};\theta ) \\ =log\prod _{k=1}^K{\hat{y}}_k^{y_k} \\ ={\sum }_{k=1}^K{y}_{k}log{\hat{y}}_k \end{gathered}$$
$K$为类别数，
$y_k$为观察样本$x$的标注被转化为$K$维one-hot向量后，第$k$维的值(0或1)，
${\hat{y}}_k$为观察样本$x$属于类别$k$的预测概率$\hat{y}=h_{\theta }(x)$。

注意4：

最小化KL散度y原则等价于极大似然估计原则：
假设$p(x)$是$X$的未知真实分布，$q(x;\theta )$是$X$的已知的近似分布，如果最小化$p$对$q$的KL散度：
$$\begin{gathered} \min KL(p||q) \\ =\min -\sum _{x}p(x)logq(x;\theta )-(-\sum _{x}p(x)logp(x)) \\ =\max \sum _{x}p(x)logq(x;\theta ) \\ \simeq \max \sum _{n=1}^{N}logq(x^{(n)};\theta ) \\ =\max log\prod _{n=1}^{N}q(x^{(n)};\theta ) \end{gathered}$$
[1]. https://www.cnblogs.com/kyrieng/p/8694705.html
[2]. Pattern Recognition and Machine learning, p206.