香农三大定理、香农公式

香农作为信息论的创始人，为如今的信息时代(4G、5G等通信领域)奠定了重大基础。

信源编码

通信中，信源编码本质上是将信源符号转变为适合信道传输的符号，目的为了减少或消除信源冗余度而提高传输效率及通信的有效性。

在信息论的编码定理中，已从理论上证明，至少存在某种最佳的编码或信道处理（信道编码/译码）方法，能够做到既可靠又有效地传输信息。而香农第一定理就是一个极为重要的极限定理：

香农第一定理(无失真变长信源编码定理)

香农第一定理给出了要做到无失真的信源编码，数据压缩的极限值——平均每个信源符号所需最少的$r$元码元数为信源的熵$H_r(S)$.

即信源的信息熵$H_r(S)$是无失真信源压缩的极限值。

若编码的平均码长小于信源的熵值$H_r(S)$，则惟一可译码不存在，在译码或反变换时必然要带来失真或差错。

通过对扩展信源进行变长编码，当 $N\to \infty$ 时，平均码长$\underset{N\to \infty }{\lim }\frac{{\overline{L}}_N}{N}=H_r(S)$

物理意义：
无失真信源编码的实质是对离散信源进行变换——变换后信源符号(信道的输入信源)尽可能为等概率分布；
新信源符号平均所含的信息量达到最大，使信道的信息传输率R达到信道容量C，实现信源与信道理想的统计匹配。

香农第二定理(有噪信道编码定理)

当信道的信息传输率不超过信道容量时($R<C$)，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量($R>C$)，就不可能实现可靠的传输。

若某信道有$r$个输入符号，$s$个输出符号，信道容量为$C$，当信道的信息传输率 $R<C$，码长$N$足够长时，总可以在输入的集合中，找到$M$个码字，分别代表$M$个等可能性的消息，组成一个码以及相应的译码规则，使信道输出端的最小平均错误译码概率$P_E$达到任意小($P_E\to 0$).

具有划时代意义的香农公式：

在高斯白噪声干扰的信道中，最大信息传送速率

$\mathbf{C}=\mathbf{B}\cdot \mathbf{lo}{\mathbf{g}}_2(1+\frac{\mathbf{S}}{\mathbf{N}})$

B为信道带宽；$\frac{S}{N}$为信噪比，单位dB.

香农第三定理(保真度准则下的信源编码定理)

保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率$R^{\prime }$略大于率失真函数$R(D)$，而码的平均失真度$d(C)$不大于给定的允许失真度$D$，即$R^{\prime }\ge R(D),d(C)\le D$.