熵，联合熵，条件熵，相对熵，互信息的定义

预备基础概念

• X : 随机变量
• x : 随机变量X的具体取值
• P(X) : 随机变量X的概率分布
• P(X,Y) : 随机变量X,Y的联合概率分布
• P(Y|X) : 已知随机变量X的情况下，随机变量Y的条件概率分布
• P(X=x) => p(x) : 随机变量取某个值的概率
• P(X=x,Y=y) => p(x,y) : 联合概率
• P(X=x|Y=y) =>p(y|x) : 条件概率 、
• 且有 p(x,y) = p(x)*p(y|x)

信息量

事件的不确定性
事件发生的概率越大，信息量越小，事件发生的概率越小，信息量越小；
正好符合-logP 函数

熵

简单来讲，就是指所有信息量的期望
如果一个随机变量X的可能取值为X = {$x_1,x_2,...,x_k$}
其概率分布为P(X= $x_i$) = $p_i$ (i = 1,2,…,n)
则随机变量的熵定义为
$$H(X)=-\sum _{x}p(x)logp(x)$$
等价于
$$H(X)=\sum _{x}p(x)log\frac{1}{p(x)}$$

联合熵

两个随机变量X,Y的联合分布
$$H(X,Y)=\sum _{x,y}p(x,y)log\frac{1}{p(x,y)}$$

条件熵

在随机变量X发生的前提下，随机变量Y发生所带来的熵定义为Y的条件熵
主要用来衡量在已知随机变量X的条件下随机变量Y的不确定性
$H(Y|X)=H(X,Y)=H(X)$ 表示(X,Y)发生所包含的熵减去X单独发生包含的熵
推导
$H(Y|X)=H(X,Y)-H(X)$
$=-{\sum }_{x,y}p(x,y)logp(x,y)+{\sum }_{x}logp(x)$
根据边缘分布概率等于联合分布概率的和得出
$=-{\sum }_{x,y}p(x,y)logp(x,y)+{\sum }_x({\sum }_{y}p(x,y))logp(x)$
$=-{\sum }_{x,y}p(x,y)logp(x,y)+{\sum }_{x,y}p(x,y)logp(x)$
$=-{\sum }_{x,y}(logp(x,y)-log(x))$ -----------------> $p(x,y)=p(x)-p(y|x)$
$=-{\sum }_{x,y}log\frac{p(x,y)}{p(x)}$
$=-{\sum }_{x,y}logp(y|x)$

相对熵(互熵，交叉熵，鉴别信息，Kullback熵，Kullback-Leible散度)

设p(x),q(x)是X中取值的两个概率分布,则p对q的相对熵为
$$D(p||q)=\sum _{x}p(x)log\frac{p(x)}{q(x)}=E_{p(x)}log\frac{p(x)}{q(x)}$$
在一定程度上，相对熵可以度量两个随机变量的"距离"且有D(p||q) $̸=$ D(q||p)
$D(p||q)\ge 0$

互信息(信息增益)

两个随机变量X,Y的互信息定义为X,Y的联合概率分布和各自独立分布乘积的熵
$$I(X,Y)=\sum _{x,y}log\frac{p(x,y)}{p(x)p(y)}$$
有$I(X,Y)=D(P(X,Y)||P(X)P(Y))$
$H(Y)-I(X,Y)$
$=-{\sum }_{y}p(y)logp(y)-{\sum }_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$
$=-{\sum }_y({\sum }_{x}p(x,y))logp(y)-{\sum }_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$
$=-{\sum }_{x,y}p(x,y)logp(x,y)-{\sum }_{x,y}p(x,y)log\frac{p(x,y)}{p(x)p(y)}$
$=-{\sum }_{x,y}p(x,y)(log(x,y)+log\frac{p(x,y)}{p(y)})$
$=-{\sum }_{x,y}p(x,y)log\frac{p(x,y)}{p(x)}$
$=-{\sum }_{x,y}p(x,y)log(p(y|x))$
$=H(Y|X)$
综上推导得出
H(Y)-I(X,Y) = H(Y|X)
通过条件熵定义
H(Y|X) = H(X,Y)-H(X)
根据互信息定义展开得到
H(Y|X)=H(Y)-I(X,Y)
最终得到
I(X,Y) = H(X)+H(Y)-H(X,Y)