2022黄娅桐李亚琼祖梦雅陶良宇——连贯理解香农三大定理

前言

  香农三大定理共同促成了信息时代的到来。

一、香农三大定理的重要性

  第一定理和第三定理对应的是压缩理论，而第二定理也就是鼎鼎有名的香农容量，对应的是传输理论。

二、香农三大定理的关联

1.香农第一定理——无失真信源编码定理

  香农第一定理在编码领域的地位举足轻重，它给出了在无损情况下，数据压缩的临界值。也正是因为给出了理论上的下界，所以才会产生各式各样的编码办法。

  在无损压缩的情况下，压缩任何东西所需要的都大于比特数香农第一定理所给出的值。接下来，我详细说一下香农第一定理的数学化表述：

  考虑序列发送系统，其中的序列都是来自于$X$的$n$个字符。如果序列中的每一个字符都服从$p(x)$分布,也就是说，它们独立同分布。那么：$$H\left(X\right)⩽L_n<H\left(X\right)+\frac{1}{n}$$

   其中 $L(n)$为每输入字符期望码字长度，因此，通过使用足够大的分组长度，可以获得一个编码，可以使其每字符期望码长任意地接近熵。

  那么问题就来了，如果不是独立同分布怎么办?当然有解决办法，这个东西叫做熵率，而下面这个式子也是更具有普适的理论价值。$$\frac{H\left(X_1,X_2...X_n\right)}{n}\ll L_n^{\ast }<\frac{H\left(X_1,X_2...X_n\right)}{n}+\frac{1}{n}$$

  其中 $H\left(X_1,X_2...X_n\right)$是联合熵。

2. 香农第二定理——有噪信道编码定理

  第二定理给出了香农容量，我们谈到香农容量的时候总要提一下奈奎斯特带宽。因为它们分别对应了无噪声和有噪声的情况。

   奈奎斯特带宽指的是，如果带宽为$B$，那么可被传输的最大的信号速率就是$2B$；如果信号传输速率为$2B$，那么频宽为B的带宽就完全能到达到此信号的传输速率，这个限制来自于码间干扰。

  奈奎斯特准则指出，在没有噪声的完美情况下，数据率的限制仅仅来自于信号的带宽，带宽加倍则数据率或者说信道容量也加倍。但是，实际信道会复杂很多，高斯白噪声、突发噪声、衰减失真都会对信道上传输的信号产生影响，噪声信号丢失或者误码等。

  在有噪声的情况下，带宽增加就不一定能响应地增加传输速率了，因为带宽越高，由于频带的展宽，相应的高斯白噪声也会增多，对数据的影响也就会相应地增加。

  那么在噪声的情况下，又该如何解决呢？这就是香农公式所解决的问题。$$C=W\log \left(1+\frac{S}{N}\right)$$

   香农公式表明，带宽和信噪比共同决定一个信道的容量。从这个公式就可以清楚地看出，增大带宽B不一定就能使C不断增加，甚至当B趋近无穷大时，C会趋向于一个定值。这是因为信道带宽趋近于无穷大时，噪声功率也会趋近于无穷大。

  香农公式指出了达到一个既定信道的最大容量，却没有提及如何去实现它，所以香农容量是一个衡量实际通信系统性能的尺度。此外，上述关于信道噪声的讨论都是以高斯白噪声为前提的，对于其他类型的噪声，香农公式需要加以修正才能适用于实际的情况。

3. 香农第三定理——保真度准则下的信源编码定理

   第三定理：设$R(D)$为一离散无记忆信源的信息率失真函数，并且有有限的失真测度$D$，则对于任意地$D>0,\epsilon >0$，以及任意长的码长$k$，一定存在一种码字个数为$M⩾2^{k|R\left(D\right)+\epsilon |}$的信源编码，使编码后码的平均失真度$\bar{D}⩽D$。

   那么第三定理具体有什么用处呢？

  1.给出了信息压缩的限：$D>0,\epsilon >0$
  2.$R(D)$在实际工程中可以作为衡量各种压缩编码方法性能优劣的一种标尺
  3.量化、数模转换、频带压缩和数据压缩的理论基础

总结

   香农三定理共同构成了信息论的一个基本框架，它们的共同点是都在给出界，但是并没有给出具体的实施方案。这就是这套理论的基础作用所在，有点像我告诉你这道题的答案是什么，但我并不会告诉你具体的解决方案，当然这需要一代又一代人的探索。

​