信息率失真函数
在实际问题中,信号有一定得失真是可以容忍的。但是当失真大于某一个限度时,信息质量就会有严重损伤。要规定失真限度,必须有一个定量的失真测度。为此,可以引入失真函数。
失真函数:
假若一个数据处理系统,输入样值为xi,xi∈{a1,...,an},输出yj,yj∈{b1,...,bm}。此时定义失真函数:
将所有的d(xi,yj)排列起来,用矩阵表示:
通常情况下,失真函数d(xi,yj)都是人为设定的。常用的失真函数如下:
均方失真:d(xi,yj)=(xi-yj)2
绝对失真:d(xi,yj)=| xi-yj|
相对失真:d(xi,yj)=| xi-yj|/|xi|
误码失真:
平均失真:
定义失真的数学期望为平均失真:
其中p(ai,bj)是联合分布概率。平均失真是对于信源编码器产生失真后的总体度量。对于长度为L的序列编码情况,平均失真为:
信息率失真函数R(D):
信源X经过有失真的信源编码器输出Y,将这样的编码器看作存在干扰的假象信道,Y作为接收端信号。信源编码器的目的是使所需的信息传输率R尽量小,但R越小,引起的平均失真就越大。给出一个失真的限制值D,在满足平均失真的条件下,选择一种编码使时,信息率R尽可能小。信息率R就是所需输出的有关信源X的信息量。而信息率R其实就是互信息I(X,Y)。
可知,当信源的分布概率已知时,互信息I是关于转移概率p(yj|xi)的∪型凸函数,存在极小值。因此定义率失真函数R(D):
对于离散无记忆信源,R(D)可以写成:
率失真函数的性质:
定义Dmin=0对应着无失真情况,相当于无噪声信道,此时:
R(Dmin)=R(0)=H(X)
定义 ,即R(Dmax)=0。
可知R(D)的定义域为[0,Dmax]。R(D)=0的情况就是I(X,Y)=0,这时候信道的输入和输出相互独立,所以条件概率pij与xi无关,即:pij=p(yj|xi)=p(yj)=pj
此时平均失真为: 。
现在要记住: 。要求的 。在这个式子中,当某项∑pidij最小,而该j所对应的pj=1时,Dmax达到最小。此时上式可以简化为: 。
R(D)的重要性质:下凸性、连续性、单调递减性(就是JPEG2000那条著名的曲线)。