NLP02：信息论基础

公众号：数据挖掘与机器学习笔记

1.熵

熵用于描述信息的不确定性，定义为：
$$H(X)=-\sum _{x}p(x)lo{g}_{2}p(x)$$
其中，X代表离散型随机变量，当对数函数以2为底时，熵的单位是比特(bit),以e为底时单位是奈特(nat)。熵的大小不取决于$X$的实际取值，而仅依赖其概率分布。

2.联合熵和条件熵

当有两个随机变量$(X,Y)$时，如果其联合分布为$p(x,y)$,则其联合熵$H(X,Y)$定义为
$$H(X,Y)=-\sum _x\sum _{y}p(x,y)lo{g}_{2}p(x,y)$$
联合熵体现随机变量$X$和$Y$共同携带的信息量，它的值大于或等于任何一个随机变量单独的熵，同时也小于或等于二者熵的和。

条件熵描述了在已知一个随机变量值的前提下，对另一个随机变量的熵的计算。基于条件$X$的$Y$的信息熵表示为$H(Y|X)$，则有：
$$H(Y|X)=\sum _x\sum _{y}p(x,y)lo{g}_{2}p(y|x)$$
条件熵、联合熵之间的关系是
$$H(Y|X)=H(X,Y)-H(X)$$

3.相对熵与互信息

相对熵是两个随机分布之间距离的度量。比如一个样本集中的两个概率分布为$p$和$q$，其中$p$为真实分布，$q$为假定分布，如果按照真实分布来衡量识别一个样本所需要的编码长度的期望为$H(p)={\sum }_{i}p(i)lo{g}_2\frac{1}{p(i)}$，如果按照假定分布$q$来表示真实分布$p$的平均编码长度，则有$H(p,q)={\sum }_{i}p(i)lo{g}_2\frac{1}{q(i)}$，称$H(p,q)$为交叉熵。因为$H(p)$是最小编码长度，$H(p,q)-H(p)$是冗余的信息量，这个差值被称为相对熵，也叫KL散度。

$p(x)$和$q(x)$两个概率密度函数之间的相对熵定义为
$$\begin{gathered} D(p||q)=\sum _{x\in \chi }p(x)lo{g}_x\frac{p(x)}{q(x)} \\ =E_{p}lo{g}_2\frac{p(X)}{q(X)} \end{gathered}$$
相对熵可以用来衡量在相同事件空间中两个事件的相似程度，而互信息则用来衡量在不同事件空间中两个信息的相关性。

定义：设两个随机变量为$X$和$Y$，它们的联合概率密度函数为$p(x,y)$,其边缘概率密度函数分布为$p(x)$和$p(y)$，则$X$和$Y$的互信息记作：
$$\begin{gathered} I(X,Y)=\sum _x\sum _{y}p(x,y)lo{g}_2\frac{p(x,y)}{p(x)p(y)} \\ D(p(x,y)||p(x)p(y)) \end{gathered}$$
熵与互信息的关系是
$$I(X,Y)=H(X)-H(X|Y)\ge 0$$
互信息就是随机变量$X$的熵$H(X)$在给定随机变量$Y$的条件熵$H(X|Y)$后的缩减量