通信原理（三）香农三大定理

香农三大定理是存在性定理，虽未提供具体的编码实现方法，但为通信信息的研究指明了方向。

1、香农第一定理

也称变长编码定理、可变长无失真信源编码定理：
$$\begin{array}{rl}& 给定熵为\mathrm{H}(\mathrm{X})的离散无记忆信源及有\mathrm{D}个元素的码符号集,\\ & 总可以找到一种无失真编码方法构成唯一可译码使其平均码长满足:\\ & \frac{H(X)}{logD}\le \bar{n}<1+\frac{H(X)}{logD}(此时为最佳码,\bar{n}>1+\frac{H(X)}{logD}时也能找到唯一可译码),\\ & 推广到\mathrm{L}次拓展信源有:\frac{H(X)}{logD}\le \frac{\overline{n_L}}{L}<\frac{H(X)}{logD}+\frac{1}{L}.\end{array}$$

香农第一定理指导无失真信源编码

定长编码定理：

$$\begin{array}{rl}& 信源符号集有\mathrm{K}个符号,码集含\mathrm{D}个符号,码字长度为\mathrm{n},\\ & 则得到唯一可译码需满足:K\le D^n;考虑对信源进行\mathrm{L}次拓展,拓展信源包含K^L个消息,\\ & 故有:K^L\le D^n,两边取对数:\frac{n}{L}\ge \frac{logK}{logD},\\ & 即平均每个信源符号至少需要\frac{logK}{logD}个码符号数进行编码;\\ & 等长编码定理给出更紧致的公式:\frac{n}{L}>\frac{H(X)+\epsilon }{logD}(\epsilon 为无穷小量)。\end{array}$$
由编码效率知，等长编码实现无差错和高效率需使$L$相当大(信源序列足够长)。

2、香农第二定理

也称有噪信道编码定理：当信道的信息传输率$R$不超过信道容量$C$时，一定存在信道编码方法可以实现任意高的传输可靠性，反之则不可能实现。(信道容量$C$是无差错传输时信息传输率$R$的极限值).

香农第二定理指导信道编码

2.1、香农公式

记B为信道带宽，S/N(或SNR)为信噪比（单位分贝dB），则加性高斯白噪声AGWN信道下的信道容量$C$满足：
$$C=B\bullet {\log }_2\left(1+\frac{S}{N}\right)$$$$或：C=B\bullet {\log }_2\left(1+SNR\right)$$

加性高斯白噪声AGWN

香农公式基于AWGN信道，即加性高斯白噪声信道(Additive White Gaussian Noise)：信道的噪声叠加在信号上，且在频谱上均匀分布、幅度上呈正态分布（高斯分布）；通俗地说，AWGN信道意味着不存在干扰。

2.2、两个准则

• 最大后验概率译码准则:错误概率最小等同于后验概率最大.
  即收到yi后在所有x中选择使后验概率q(x|y)(也称信道疑义度)最大的xi作为译码.
• 极大似然译码准则:收到yi后在所有x中选择使转移概率q(y|x)最大的xi作为译码.

3、香农第三定理

也称保失真度准则下的有失真信源编码定理：

给定允许失真度D,当信息传输率R>R(D)时,只要信源序列足够长,总可以找到一种编码方法使平均失真趋近于允许失真度D.

率失真函数R(D)满足平均失真$\bar{D}$小于给定失真度D时,信源信息量可压缩的最低限度。
香农第三定理指导有失真信源编码。