【信息论与编码 沈连丰】第七章：信息率失真理论及其应用

第七章 信息率失真理论及其应用

香农第二定理告诉我们如何保证信息无失真的传输，但在实际应用中，我们并不要求完全无失真地恢复消息，而是只要满足一定条件，近似地恢复信源发出的消息就可以了。那什么是允许的失真？如何对失真进行描述？信源输出信息率被压缩的最大程度是多少？信息率失真理论回答了这些问题，其中香农的限失真编码定理定量地描述了失真，研究了信息率与失真的关系，论述了在限失真范围内的信源编码问题。

7.1 失真函数和平均失真度

1. 失真函数：

2. 失真矩阵：

3. 汉明失真矩阵：

4. 平均失真度：
   

   可以看出平均失真度取决于三个因素：

   1. 信源的统计特性
   2. 信道的统计特性
   3. 失真函数

7.2 信息率失真函数

1. 保真度准则：
   

2. 失真许可的试验信道：

3. 信息率失真函数：
   

4. 信息率失真函数的物理意义：
   

5. 信道容量和信息率失真函数的意义：
   

6. 信息率失真函数R(D)的定义域：
   
   
   
   

7. 信息率失真函数R(D)的下凸性和连续性：

8. 信息率失真函数R(D)的单调递减性：
   

9. 信息率失真函数的性质总结：

7.3 信息率失真函数R(D)的计算

7.4 保真度准则下的信源编码定理

1. 限失真信源编码定理/香农第三定理：
   
   
   

7.5 信息率失真函数与信息价值

1. 信息率R的价值：
   

2. 信息率R的价值率：