H264视频编码标准中,在解码器反变换量化后会出现块效应。其产生的原因有:
- 量化过程是有损的,会引入误差。变换系数的量化过程相对粗糙,因而反量化过程恢复的变换系数带有误差,会造成图像块边界上视觉不连续;
- 运动补偿预测。运动补偿是从不同帧的不同位置上内插采样点数据复制而来。因为运动补偿块的匹配不可能绝对准确,所以会在边界上产生数据不连续。
因此,需要一个去块滤波器改善画面质量。
1. 边缘滤波顺序
对于整个解码图像,按照宏块地址增加的顺序为所有重建后的宏块执行滤波过程。滤波过程对宏块的亮度块和色度块分别进行。对于每个宏块以及每个分量,先从宏块左侧边缘开始,从左至右处理纵向边缘,然后从宏块的上部边缘开始,从上至下处理横向边缘。
宏块边缘如下图所示,如果该块为亮度块,根据 transform_size_8x8_flag来处理滤波过程:
- 如果transform_size_8x8_flag为0,使用4x4大小DCT变换,实粗线以及虚粗线的亮度边缘都要滤波。
- 否则(transform_size_8x8_flag为1),使用8x8大小DCT变换,只滤波实粗线的亮度边缘。
如果该块为色度块并且chroma_format_idc为1(4:2:0格式),只滤波实粗线色度边缘。
滤波过程如下:
-
输出当前宏块相邻块mbAddrA和mbAddrB;
-
得到当前宏块的以下几个变量用于判断宏块各边缘是否需要滤波:
1)fieldModeMbFlag:当前宏块是否为场格式宏块;
2)filterInternalEdgesFlag:当前宏块内部边缘(下图中黑色边缘)是否需要滤波;如果disable_deblocking_filter_idc=1,filterInternalEdgesFlag为0;否则为1;
3)filterLeftMbEdgeFlag:当前宏块左边缘(下图中蓝色边缘)是否需要滤波;如果当前宏块为图像左边缘宏块或disable_deblocking_filter_idc=1,filterLeftMbEdgeFlag为0,否则为1;
4)filterTopMbEdgeFlag:当前宏块上边缘(下图中绿色边缘)是否需要滤波;如果当前宏块为图像上边缘宏块或disable_deblocking_filter_idc=1,filterTopMbEdgeFlag为0,否则为1;如果是MBAFF,图像第一行的场宏块对两个场宏块,filterTopMbEdgeFlag为0;如果为帧宏块对,则只有顶帧宏块的filterTopMbEdgeFlag为0
-
得到上述4各变量后,按以下顺序进行滤波操作:
1) 当filterLeftMbEdgeFlag等于1时,对左侧垂直亮度边缘的滤波;
2) 当filterInternalEdgesFlag等于1时,对内部垂直亮度边缘滤波;
3) 当filterTopMbEdgeFlag等于1时,滤波上部水平亮度边缘;
4) 当filterInternalEdgesFlag等于1时,对内部横向亮度边缘;
5) 以同样的方式对两个色度分量进行滤波操作。
2.滤波过程
去块滤波以16x16宏块为单位,对每个4x4块或8x8块边界进行滤波。滤波过程包括边界分析和滤波运算两部分。边界分析主要解决两个问题:
- 计算边界强度,对不同强度边界采用不同强度的滤波,如果强度不够则滤波效果不好,块效应依然明显,强度太大则图像细节损失太多,影响视频主管效果;
- 解决真假边界问题,视频图像中有可能物体的边界刚好在两块的边界上,在做去块效应滤波时当然不希望把物体的边界轮廓弄得模糊,因此需要判断真假边界
2.1 计算边界强度
对4x4块定义边界强度,设P块和Q块为两相邻块,按下表决定边缘强度。
色度块的边界不需要单独计算,直接等于对应亮度块的边界强度。
边缘强度计算流程如下:
2.2区分真假边界
去块滤波最核心部分就是区分真假边界,关于真假边界区分是基于两个假设:
- 真实边界两边像素点的差值通常比虚假边界两边像素差值要大;
- 对于两边像素差值小的真实边界,即使使用平滑滤波,其主观效果也不会有太大的影响。
为区分真假边界,需要对被滤波边界两边的像素值进行分析。定义两个相邻4x4块中一条直线上的采样点为p3、p2、p1、p0、q0、q1、q2、q3,如下图所示。
H264标准中设定了两个阈值alpha和beta来判断虚假边界,alpha表示块与块之间的边界阈值,beta表示块内边界的阈值。对于边界两边像素点的差值,满足下面三个条件就判定为需要滤波的虚假边界。
| p0-q0 | < alpha, | p1-p0| < beta, | q1-q0| < beta
3.滤波运算
当边界强度BS不为0时,就需要进行滤波。H264的边缘滤波有两种滤波器,BS为1、2、3时采用强度较弱的滤波器,首先改变p0、q0两个像素点,接着用阈值beta判断是否需要调整p1、q1的值;BS为4时有两种强度的滤波,强滤波可以改变6个像素点(p0、p1、p2、q0、q1、q2),弱滤波只改变边界上的两个点(p0、q0)