经典信息论基础

编码树

给定一个字符集 $\Sigma$，用 σ : Σ → { 0 , 1 } + \sigma: \Sigma \rightarrow \{0,1\}^+ σ:Σ→{0,1}+ 对该字符集编码。对 $\forall s_1,s_2\in \Sigma$，$s_1\ne s_2$，有 $\sigma (s_1)$ 不能是 $\sigma (s_2)$ 的前缀。
我们定义 { σ ( s ) ∣ s ∈ Σ } \{\sigma(s) | s \in \Sigma \} {σ(s)∣s∈Σ} 为 $\Sigma$ 的前缀自由编码（prefix free encoding）。$\Sigma$ 的前缀自由编码构成了一颗编码树。

$\Sigma$ 中的元素出现频率不同。为更好地压缩，我们可以让出现频率更高的字母编码程度更短。假设 $s_i$ 出现概率为 $p_i$，编码长度为 $l_i$。则确定一个字母的期望 0，1-字符串长度是
$$\sum p_i{l}_i$$
其中 $\sum p_i=1$。
设 $|\Sigma |=n$。易证，编码树存在当且仅当
$$\sum _{i=1}^n{2}^{-l_i}\le 1$$
由此易证
$$\sum _{i=1}^n{p}_i{l}_i\le -\sum _{i=1}^n{p}_i{\log }_2{p}_i$$
等号成立当且仅当 $l_i=-{\log }_2{p}_i$

香浓熵

对于一个随机变量的概率分布 $p$（一个函数），定义香浓熵 $H(p)$ 为嵌在 $p$ 中的不确定度。选定该随机变量的具体值，我们获得的信息就是 $H(p)$。
设 $p=(p_1,...,p_n)$，则
$$H(p)=-\sum _{i=1}^n{p}_i{\log }_2{p}_i$$
香浓熵表示了数据压缩的下限。

联合熵

与香浓熵类似，随机变量 $X,Y$ 的联合熵定义为
$$H(X,Y)=-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(x,y)$$

条件熵与互信息

我们定义条件熵 $H(Y|X)$ 为拥有了 $X$ 的信息后，随机变量 $Y$ 的熵。在获得 $X$ 信息这个过程中减少的不确定性称为信息。如果 $(X,Y)\sim p(x,y)$，则定义条件熵

$$\begin{array}{rl}H(Y|X)& =\sum _{x\in X}p(x)H(Y|X=x)\\ & =-\sum _{x\in X}p(x)\sum _{y\in Y}p(y|x)\log p(y|x)\\ & =-\sum _{x\in X}\sum _{y\in Y}p(x,y)\log p(y|x)\end{array}$$

相对熵

设随机变量 $X$，$Y$ 的联合概率分布为 $p(x,y)$，则 $X$ 和 $Y$ 的互信息定义为
$$\begin{array}{rl}I(X;Y)& =H(X)-H(X|Y)\\ & =\sum _{x,y}p(x,y)\log \frac{p(x,y)}{p(x)p(y)}\\ & =D(p(x,y)||p(x)p(y))\end{array}$$
发送者将信息 $W$ 编码为 $X$，并通过信道 $p(y|x)$ 发送 $X$。接受者收到 $Y$。如果 $I(X;Y)$ 比较大，则接受者可以从 $Y$ 中解码出 $W$。