前言
香农三大定理共同促成了信息时代的到来。
一、香农三大定理的重要性
第一定理和第三定理对应的是压缩理论,而第二定理也就是鼎鼎有名的香农容量,对应的是传输理论。
二、香农三大定理的关联
1.香农第一定理——无失真信源编码定理
香农第一定理在编码领域的地位举足轻重,它给出了在无损情况下,数据压缩的临界值。也正是因为给出了理论上的下界,所以才会产生各式各样的编码办法。
在无损压缩的情况下,压缩任何东西所需要的都大于比特数香农第一定理所给出的值。接下来,我详细说一下香农第一定理的数学化表述:
考虑序列发送系统,其中的序列都是来自于 X X X的 n n n个字符。如果序列中的每一个字符都服从 p ( x ) p(x) p(x)分布,也就是说,它们独立同分布。那么: H ( X ) ⩽ L n < H ( X ) + 1 n H\left( X \right) \leqslant L_n<H\left( X \right) +\frac{1}{n} H(X)⩽Ln<H(X)+n1
其中 L ( n ) L(n) L(n)为每输入字符期望码字长度,因此,通过使用足够大的分组长度,可以获得一个编码,可以使其每字符期望码长任意地接近熵。
那么问题就来了,如果不是独立同分布怎么办?当然有解决办法,这个东西叫做熵率,而下面这个式子也是更具有普适的理论价值。 H ( X 1 , X 2 . . . X n ) n ≪ L n ∗ < H ( X 1 , X 2 . . . X n ) n + 1 n \frac{H\left( X_1,X_2...X_n \right)}{n}\ll L_{n}^{*}<\frac{H\left( X_1,X_2...X_n \right)}{n}+\frac{1}{n} nH(X1,X2...Xn)≪Ln∗<nH(X1,X2...Xn)+n1
其中 H ( X 1 , X 2 . . . X n ) H\left( X_1,X_2...X_n \right) H(X1,X2...Xn)是联合熵。
2. 香农第二定理——有噪信道编码定理
第二定理给出了香农容量,我们谈到香农容量的时候总要提一下奈奎斯特带宽。因为它们分别对应了无噪声和有噪声的情况。
奈奎斯特带宽指的是,如果带宽为 B B B,那么可被传输的最大的信号速率就是 2 B 2B 2B;如果信号传输速率为 2 B 2B 2B,那么频宽为B的带宽就完全能到达到此信号的传输速率,这个限制来自于码间干扰。
奈奎斯特准则指出,在没有噪声的完美情况下,数据率的限制仅仅来自于信号的带宽,带宽加倍则数据率或者说信道容量也加倍。但是,实际信道会复杂很多,高斯白噪声、突发噪声、衰减失真都会对信道上传输的信号产生影响,噪声信号丢失或者误码等。
在有噪声的情况下,带宽增加就不一定能响应地增加传输速率了,因为带宽越高,由于频带的展宽,相应的高斯白噪声也会增多,对数据的影响也就会相应地增加。
那么在噪声的情况下,又该如何解决呢?这就是香农公式所解决的问题。 C = W log ( 1 + S N ) C=W\log \left( 1+\frac{S}{N} \right) C=Wlog(1+NS)
香农公式表明,带宽和信噪比共同决定一个信道的容量。从这个公式就可以清楚地看出,增大带宽B不一定就能使C不断增加,甚至当B趋近无穷大时,C会趋向于一个定值。这是因为信道带宽趋近于无穷大时,噪声功率也会趋近于无穷大。
香农公式指出了达到一个既定信道的最大容量,却没有提及如何去实现它,所以香农容量是一个衡量实际通信系统性能的尺度。此外,上述关于信道噪声的讨论都是以高斯白噪声为前提的,对于其他类型的噪声,香农公式需要加以修正才能适用于实际的情况。
3. 香农第三定理——保真度准则下的信源编码定理
第三定理:设 R ( D ) R(D) R(D)为一离散无记忆信源的信息率失真函数,并且有有限的失真测度 D D D,则对于任意地 D > 0 , ε > 0 D>0,\varepsilon >0 D>0,ε>0,以及任意长的码长 k k k,一定存在一种码字个数为 M ⩾ 2 k ∣ R ( D ) + ε ∣ M\geqslant 2^{k\left| R\left( D \right) +\varepsilon \right|} M⩾2k∣R(D)+ε∣的信源编码,使编码后码的平均失真度 D ˉ ⩽ D \bar{D}\leqslant D Dˉ⩽D。
那么第三定理具体有什么用处呢?
1.给出了信息压缩的限:
D
>
0
,
ε
>
0
D>0,\varepsilon >0
D>0,ε>0
2.
R
(
D
)
R(D)
R(D)在实际工程中可以作为衡量各种压缩编码方法性能优劣的一种标尺
3.量化、数模转换、频带压缩和数据压缩的理论基础
总结
香农三定理共同构成了信息论的一个基本框架,它们的共同点是都在给出界,但是并没有给出具体的实施方案。这就是这套理论的基础作用所在,有点像我告诉你这道题的答案是什么,但我并不会告诉你具体的解决方案,当然这需要一代又一代人的探索。