熵简介

熵

如果$X$为一个离散变量，则可以根据以下式子计算熵

$$H(X) = -\sum_{x\in R}p(x)\log_2p(x)$$
其中约定$0\log0=0$，该公式定义的熵的单位为二进制位(bit)。该公式可以理解为描述一个随机变量的不确定性。熵越大，不确定性越大。

联合熵&条件熵

如果$X,Y$是一对离散型随机变量$X,Y\sim p(x,y)$，则$X,Y$的联合熵$H(X,Y)$定义为

$$H(X,Y) = -\sum_{x\in X}\sum_{y \in Y}p(x,y)\log p(x,y)$$
实际上描述的是表达一对随机变量平均所需要的信息量。
在给定 $X$的情况下，随机变量$Y$的条件熵定义为
$$\begin{equation}\begin{split} H(Y|X)&=\sum_{x\in X} p(x)H(Y|X)\\ &=-\sum_{x\in X} p(x)\sum_{y\in Y}p(y|x)\log p(y|x)\\ &=-\sum_{x\in X} \sum_{y\in Y}p(y,x)\log p(y|x) \end{split}\end{equation}$$
将 $H(X,Y)$展开，可得
$$\begin{equation}\begin{split} H(X,Y)&= -\sum_{x\in X}\sum_{y \in Y}p(x,y)\log[p(y|x)p(x)]\\ &=-\sum_{x\in X}\sum_{y \in Y}p(x,y)[\log p(y|x)+\log p(x)]\\ &=-\sum_{x\in X}\sum_{y \in Y}p(x,y)\log p(y|x)-\sum_{x\in X}\sum_{y \in Y}p(x,y)\log p(x)\\ &=H(Y|X)+H(X) \end{split}\end{equation}$$
由此可得熵的链式规则，
$$H(X_1,X_2,...,X_n)=H(X_1)+H(X_2|X_1)+...+H(X_n|X_1,...,X_{n-1})$$

互信息

$$I(X,Y)=H(Y)-H(Y|X)$$
反映的是得到 $X$的信息之后，$Y$的不确定性减少的程度。

相对熵

相对熵也被称为Kullback-Leibler距离，即KL距离，衡量的是相同事件空间中的两个概率分布的差异的测度。其定义为

$$D(p(x)||q(x))=\sum_{x\in X}p(x)\log {{p(x)}\over{q(x)}},\\ 即期望\\ D(p(x)||q(x))=E_p(\log {{p(x)}\over{q(x)}})$$
可知当两个随机分布完全相同时，其相对熵为0，当差别增加时，其相对熵也增加。
通过KL距离的表示，互信息也可以表示为联合分布与独立性的差距，即
$$I(X,Y)=D(p(x,y)||p(x)p(y))$$

交叉熵

交叉熵是用来衡量估计模型与真实概率之间的差距。
如果一个随机变量$X\sim p(x)$，$q(x)$用于近似$p(x)$的分布，那么变量$X$与模型$q$之间的交叉熵表示为

$$\begin{equation}\begin{split} H(X,q)&=H(X)+D(p||q)\\ &=-\sum_xp(x)\log q(x)\\ &=E_P(log{1\over q(x)}) \end{split}\end{equation}$$

本作品采用知识共享署名-相同方式共享 4.0 国际许可协议进行许可