限失真信源编码1

研究对象：允许一定失真的离散信源编码和连续信源编码。
实际信息处理过程，往往存在失真：
   ①连续信源编码必然存在失真（不可能从根本上去除量化误差）
   ②一定范围的失真可以大幅度提高编码效率。(降低信息率有利于传输和处理）
   ③无失真编码并不总是必须的。比如：视觉和听觉对信号变化的灵敏度有限。
本章核心：在允许一定失真的条件下，能够把信源信息压缩到什么程度。(描述信源所需bit的下界)

一：失真测度

1)限失真信源编码通信模型

        因为这里只涉及信源编码问题，所以把信道的编码和译码视为信道的一部分，为了定量描述信息传输率和失真的关系，把信道视为一个广义无扰信道。（一根导线）
        由于编码存在失真，信道不是一一对应关系，用信道转移概率描述编码和译码的前后关系。
        这里--信源编码和信源译码这一部分视为一个虚拟信道，从而发送端与接收端的编码失真，就等效为：虚拟信道的噪声。
2）失真的定义

失真函数：

①单个符号的失真函数

②信源序列的失真函数

 要求：X和Y的每个元素必须是等长的

平均失真：（从总体上描述了整个系统的失真情况）

1：单符号平均失真

2：信源序列平均失真

3：连续信源平均失真

保真度准则

p(u)和d(u,v)给定后，选择不同的信道相当于选择不同的编码方法，所得的平均失真度不同，我们要选择那些满足保真度准则的那些实验信道--D失真许可的试验信道。

二：信息率失真函数 

率失真函数R(D): 

率失真函数：在满足保真度前提下，所有可能的信源编码的信息率下限值（必须传输的信息率）。

率失真编码解码器

区分：率失真函数和信道容量

信源编码两个目的：一个是保证送上信道的信息量不会大于信道容量；另一方面为了提高有效性，尽可能采取少的码长，选用少的符号去编码保证信息传输率低。而限失真信源编码就是在此基础上要满足：保真度要求。

率失真函数的性质

一：单调不减函数

二：定义域 

=0表示不允许任何失真；上面分析知要求只要控制p(y|x),在d取最小值时候让概率为0.

当D足够大，也就是哪怕所有信源符号都编译码成一个值（一个平面用一个点代替），也可以接受，这时候输入与输出独立，只需保证：信源的行与D的列乘积最小。

---

习题：

---

三：下凸函数