自信息、熵、联合熵、条件熵、互信息、交叉熵、KL散度

1、熵

在信息论中，熵用来衡量一个随机事件的不确定性。在物理学中，表示一个热力学系统的无序程度。

1.1 自信息和熵

自信息（Self Information）表示一个随机事件所包含的信息量. 一个随机事件发生的概率越高，其自信息越低. 如果一个事件必然发生，其自信息为0.

对一个随机变量$X$（$X\in \mathfrak{X}$，概率分布为$P(x），x\in \mathfrak{X}$，当$X=x$时，自信息$I(x)$定义为：
$$I(x)=-logp(x)\text{\hspace{1em}(式1)}$$

对于分布为$p(x)$的随机变量$X$,其熵（自信息的期望）的定义如下：
$$H(X)=E_X[I(x)]=E_X[-logp(x)]=-\sum _{x\in \mathfrak{X}}p(x)logp(x)\text{\hspace{1em}(式2)}$$

熵越大，则随机变量的信息越多；熵越小，则随机变量的信息越小。如果对于一个确定的信息，那么熵为零，信息量也为零。如果一个概率分布为一个均匀分布，则熵最大。

1.2 联合熵和条件熵

对于两个离散随机变量$X和Y$,假设$X$取值集合为$\mathfrak{X}$;$Y$取值集合为$\mathcal{Y}$,联合概率分布满足$p(x,y)$,则$X和Y$的联合熵为：
$$H(X,Y)=-\sum _{x\in \mathfrak{X}}\sum _{y\in \mathcal{Y}}p(x,y)logp(x,y)\text{\hspace{1em}(式3)}$$
$X和Y$的条件熵为：
$$H(X|Y)=-\sum _{x\in \mathfrak{X}}\sum _{y\in \mathcal{Y}}p(x,y)logp(x|y)=-\sum _{x\in \mathfrak{X}}\sum _{y\in \mathcal{Y}}p(x,y)log\frac{p(x,y)}{p(y)}\text{\hspace{1em}(式4)}$$

2、互信息

互信息是衡量已知一个变量时，另一个变量不确定性减少程度。两个离散随机变量 $X$和$Y$的互信息定义为：
$$I(X:Y)=\sum _{x\in \mathfrak{X}}\sum _{y\in \mathcal{Y}}p(x,y)log\frac{p(x,y)}{P(x)p(y)}\text{\hspace{1em}(式5)}$$
性质：
$$\begin{gathered} I(X:Y)=H(X)-H(X|Y) \\ =H(Y)-H(Y|X)\text{\hspace{1em}(式6)} \end{gathered}$$
如果变量$X$和变量$Y$互相独立，他们的互信息为零。

3、交叉熵和散度

3.1 交叉熵

对于分布为$p(x)$的随机变量，熵$H(p)$表示其最优编码长度。交叉熵是按照概率分布$q$的最优编码对真实分布$p$的信息进行编码的长度，定义如下：
$$H(p,q)=E_p[-logq(x)]=-\sum _{x}p(x)logq(x)\text{\hspace{1em}(式7)}$$
在给定$p$的情况下，如果$q和p$约接近，那么交叉熵越小；如果$q和P$越远，交叉熵越大。

3.2 KL散度

$KL散度$也叫做$KL距离$或者$相对熵$，是用概率分布$q$来近似$p$时所造成的信息损失量。KL散度是按照概率分布$q$的最优编码对真实分布$p$的信息进行编码，其平均编码长度（交叉熵）$H(p,q)$和$p$的最优编码长度（熵）$H(p)$之间的差异。对于离散概率分布$p$和$q$,从$q到$p$的KL散度定义为：
$$KL(p,q)=H(p,q)-H(p)=\sum _{x}p(x)log\frac{p(x)}{q(x)}\text{\hspace{1em}(式8)}$$

KL散度总是非负的，即$KL(p,q)\ge 0$,可以衡量两个概率分布之间的距离。只有当$p=q$时，$KL(p,q)=0$.

3.3 JS散度

$JS散度$是一种对称的衡量两个分布相似度的度量方式，定义如下：
$$JS(p,q)=\frac{1}{2}KL(p,m)+\frac{1}{2}KL(q,m)\text{\hspace{1em}(式9)}$$
其中：$m=\frac{1}{2}(p+q)$.

很明显，JS散度是KL散度的一种改进，JS散度是对称的，但是两中散度的共性问题是：当两个分布$p,q$没有重叠或者重叠很少的时候，KL散度和JS散度都很难衡量两个分布的距离。

4、熵编码

信息论的研究目标之一是如何用最少的编码表示传递信息. 假设我们要传递一段文本信息，这段文本中包含的符号都来自于一个字母表$\mathbf{A}$，我们就需要对字母表$\mathbf{A}$ 中的每个符号进行编码. 以二进制编码为例，我们常用的ASCII 码就是用固定的8 bits 来编码每个字母. 但这种固定长度的编码方案不是最优的. 一种高效的编码原则是字母的出现概率越高，其编码长度越短. 比如对字母$a,b,c$ 分别编码为0, 10, 110.

给定一串要传输的文本信息，其中字母$x$的出现概率为$p(x)$，其最佳编码长度为$-lo{g}_{2}p(x)$，整段文本的平均编码长度为$-{\sum }_{x}p(x)lo{g}_{2}p(x)$，即底为2 的熵.

在对分布$p(x)$ 的符号进行编码时，熵$H(p)$也是理论上最优的平均编码长度，这种编码方式称为熵编码（Entropy Encoding）.

由于每个符号的自信息通常都不是整数，因此在实际编码中很难达到理论上的最优值. 霍夫曼编码（Huffman Coding）和算术编码（Arithmetic Coding）是两种最常见的熵编码技术.