香农作为信息论的创始人,为如今的信息时代(4G、5G等通信领域)奠定了重大基础。
信源编码
通信中,信源编码本质上是将信源符号转变为适合信道传输的符号,目的为了减少或消除信源冗余度而提高传输效率及通信的有效性。
在信息论的编码定理中,已从理论上证明,至少存在某种最佳的编码或信道处理(信道编码/译码)方法,能够做到既可靠又有效地传输信息。而香农第一定理就是一个极为重要的极限定理:
香农第一定理(无失真变长信源编码定理)
香农第一定理给出了要做到无失真的信源编码,数据压缩的极限值——平均每个信源符号所需最少的 r r r元码元数为信源的熵 H r ( S ) H_r(S) Hr(S).
即信源的信息熵 H r ( S ) H_r(S) Hr(S)是无失真信源压缩的极限值。
若编码的平均码长小于信源的熵值 H r ( S ) H_r(S) Hr(S),则惟一可译码不存在,在译码或反变换时必然要带来失真或差错。
通过对扩展信源进行变长编码,当 N → ∞ N \to\infty N→∞ 时,平均码长 lim N → ∞ L ‾ N N = H r ( S ) \lim \limits_{N \to\infty} \frac{\overline L_N }{N}= H_r(S) N→∞limNLN=Hr(S)
物理意义:
无失真信源编码的实质是对离散信源进行变换——变换后信源符号(信道的输入信源)尽可能为等概率分布;
新信源符号平均所含的信息量达到最大,使信道的信息传输率R达到信道容量C,实现信源与信道理想的统计匹配。
香农第二定理(有噪信道编码定理)
当信道的信息传输率不超过信道容量时( R < C R<C R<C),采用合适的信道编码方法可以实现任意高的传输可靠性,但若信息传输率超过了信道容量( R > C R>C R>C),就不可能实现可靠的传输。
若某信道有 r r r个输入符号, s s s个输出符号,信道容量为 C C C,当信道的信息传输率 R < C R<C R<C,码长 N N N足够长时,总可以在输入的集合中,找到 M M M个码字,分别代表 M M M个等可能性的消息,组成一个码以及相应的译码规则,使信道输出端的最小平均错误译码概率 P E P_E PE达到任意小( P E → 0 P_E\to0 PE→0).
具有划时代意义的香农公式:
在高斯白噪声干扰的信道中,最大信息传送速率
C = B ⋅ l o g 2 ( 1 + S N ) \bm{C=B·log_2(1+\frac{S}{N})} C=B⋅log2(1+NS)
B为信道带宽; S N \frac{S}{N} NS为信噪比,单位dB.
香农第三定理(保真度准则下的信源编码定理)
保真度准则下的信源编码定理,或称有损信源编码定理。只要码长足够长,总可以找到一种信源编码,使编码后的信息传输率 R ′ R' R′略大于率失真函数 R ( D ) R(D) R(D),而码的平均失真度 d ( C ) d(C) d(C)不大于给定的允许失真度 D D D,即 R ′ ≥ R ( D ) , d ( C ) ≤ D R' \geq R(D),d(C) \leq D R′≥R(D),d(C)≤D.