信息论-熵

1. 熵（Entropy）

信息论中的熵（Entropy）一般被解释为随机分布的不确定性，但其实有明确的物理意义：编码一个随机事件，平均所需的比特位数下界（二进制下的最短平均编码长度，熵表达式中底数2的来源）。具体证明参考[^1]：
(1). 二进制中，长度为$L$的编码耗费的信息空间比例（代价）为:
$$cost(L)=\frac{1}{2^L}\text{\hspace{1em}(1-1)}$$
。比如，以01编码了一个信息，为了避免解码时的歧义其它编码不能以01开头，其长度为2占用了整个编码空间的代价为$cost(2)=\frac{1}{2^2}=\frac{1}{4}$
(2). 在二进制的各种编码方式中，以事件$x$出现的概率分布$p(x)$为代价编码时，平均编码长度会最短，用这种最佳编码方法得到的平均长度称为信息熵$H(p)$。

由（1-1）可知代价$cost(L)=p(x)$时，编码事件$x$的长度$L={\log }_2\frac{1}{p(x)}$，所以平均编码长度为：
$$avg(L)=H(p)=\sum _{x}p(x){\log }_2\left(\frac{1}{p(x)}\right)\text{\hspace{1em}(1-2)}$$
另一种更常见的变形为：
$$H(p)=-\sum _{x}p(x)\log (p(x))\text{\hspace{1em}(1-3)}$$
（因为$\log (1/a)=-\log (a)$ 。但原始形式更直观、物理意义更明确，为方便理解后面的相关概念也以原始形式引出）

2. 交叉熵（Cross-Entropy）

用其它分布$p(x)$的最佳编码方式来编码另一种分布$q(x)$时，信息的平均长度就是$p$关于$q$的交叉熵。结合(1-2)可知交叉熵$H_p(q)$：
$$H_p(q)=\sum _{x}q(x){\log }_2\left(\frac{1}{p(x)}\right)\text{\hspace{1em}(2-1)}$$
可以看出交叉熵不是对称的。

3. KL散度(KL divergence)

我们为什么要关心交叉熵？交叉熵给我们提供了一种方式来衡量两个概率分布的差异程度。如果$p$与$q$的差异越大，那么$p$关于$q$的交叉熵就比$q$的熵更大，这个差值称为KL散度(KL divergence)或相对熵：
D p