率失真编码

精确的解决单个随机变量的量化问题相当复杂，一个连续随机信源需要无限的精确度才可以准确的表示，我们需要解决的问题是对于任何给定的数据码率，寻求最好的可能表示。对服从高斯分布的n个独立同分布的随机变量集合，用nR比特表示，假如分开处理每个元素的表示显得像一个独立的问题，率失真编码告诉我们用长度为n的序列，在相同的码率下对整个序列同时处理的方法比单个样本独立量化所得的失真更低。n个随机变量的失真定义。
率失真编码定义：
一个率失真码包括一个编码函数和一个译码再生函数。n元组记为构成一个码簿，为相应的分配区域。
率失真函数：对于给定的失真D，满足（R,D）包含于信源的率失真区域中的所有码率R的下确界称为率失真函数R(D)。
信息率失真函数：对于独立同分布的信源X,若公共分布为p(x)且失真函数那么其率失真函数于其对应的信息率失真函数相等。在通过计算互信息的最小值来求信息率时无法直接最小化互信息，而是先获得率失真函数的一个下界，然后证明这个下界是可达的。在信息论中通常分两步来解决问题，一是定理逆的证明。如果用小于R(D)的码率描述X,则不能达到比D小的失真。
定理逆的证明并没有给出这个编码要如何构造，它只说明了在失真D的限制下，要构造出码率小于R(D)的码是不可能的。
定理可达性的证明：