率失真函数

失真函数：假如某一信源X，经过有失真的信源编码器，输出Y。如果$x_i=y_j$，则认为没有失真；否则就产生了失真。失真单独大小，用失真函数来表示，衡量用$y_j$代替$x_i$所引起的失真程度。
$$d(x_i,y_j)=\{\begin{array}{c}0,x_i=y_j\\ a,a>0,x_i̸=y_j\end{array}$$
平均失真：失真函数的数学期望。是信源和信道组成的通信系统的平均失真度。
背景：信源编码器的目的是使编码后所需的信息传输率R尽量小。然而R越小，造成的平均失真越大。给出一个失真的上限值D，在满足平均失真$\overline{D}\le D$的条件下，选择一种编码方法使得信息率R尽可能小。
D允许试验信道：平均失真由信源分布$p(x_i)$、假想信道转移概率$p(y_j/x_i)$和失真函数$d(x_i,y_j)$决定。若$p(x_i)$和$p(y_j/x_i)$已定，则满足下式
$$P_D=\{p(b_j|a_i):\overline{D}\le D\}$$
的$P_D$称为D允许试验信道。并称这些信道满足保真度准则$\overline{D}\le D$。
信息率失真函数R(D)：由前可知：当$p(x_i)$一定时，互信息$I$是关于$p(y_j/x_i)$的U性凸函数，存在极小值。因而在上述满足保真度准则的所有信道中，总能找到一个试验信道，使得信息传输率$R(X,Y)=I(X;Y)$达到最小值，把这个最小值记为$R(D)$
$$R(D)=\underset{P_D}{\min }I(X;Y)$$
这个最小的互信息$R(D)$就称为信源X的信息率失真函数。
率失真函数的自变量是平均失真度$\overline{D}$，

限失真信源编码定理：设离散无记忆信源X的信息率失真函数R(D)，则当信息率R>R(D)时，只要信源序列长度L足够长，一定存在一种编码方法，其译码失真小于或等于D；反之，若R<R(D)，无论采用什么样的编码方法，其译码失真必大于D。