【计算机网络】信源编码——香农三大定理

  香农第一定理：可变长无失真信源编码定理。采用无失真最佳信源编码可使得用于每个信源符号的编码位数尽可能地小，但它的极限是原始信源的熵值。超过了这一极限就不可能实现无失真的译码。

  香农第二定理：有噪信道编码定理。当信道的信息传输率不超过信道容量时，采用合适的信道编码方法可以实现任意高的传输可靠性，但若信息传输率超过了信道容量，就不可能实现可靠的传输。

  香农第三定理：保真度准则下的信源编码定理，或称有损信源编码定理。只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度，即 D’ <= D。

1、香农第一定理 (可变长无失真信源编码定理)

  设离散无记忆信源X包含N个符号{x1,x2,…,xi,…,xN}，信源发出K重符号序列，则此信源可发出 N^ k 个不同的符号序列消息，其中第 j 个符号序列消息的出现概率为 PKj，其信源编码后所得的二进制代码组长度为 Bj，代码组的平均长度B为 B=PK1B1+PK2B2+…+PKN^ k BN^k。
  当 K 趋于无限大时，B 和信息量 H(X) 之间的关系为 B/K = H(X) (K趋近无穷）。

  信源编码定理表明（在极限情况下，随着独立同分布随机变量数据流的长度趋于无穷）不可能把数据压缩得码率（每个符号的比特的平均数）比信源的香农熵还小，不满足的几乎可以肯定，信息将丢失。但是有可能使码率任意接近香农熵，且损失的概率极小。

  香农第