TCSVT2020：帧内预测中边界保留的参考像素滤波和插值预测

本文来自TCSVT2020论文《Edge-Preserving Reference Sample Filtering and Mode-Dependent Interpolation for Intra-Prediction》

本文主要优化帧内预测时的参考像素滤波以保留边缘和像素投影时的插值。

在帧内预测前需要对参考像素进行平滑滤波，滤波强度和块尺寸以及预测模式有关，即模式依赖的平滑滤波。滤波后的参考像素在预测时需要投影到一维形式，在计算预测值时对于非整数位置需要进行1/32像素精度的插值。在文章帧内预测中的参考像素滤波和像素投影中对该过程有详细介绍。

边缘保留的帧内参考像素滤波

边缘保留的帧内参考像素滤波（ Edge-Preserving Intra Reference Sample Filtering，EPIRSF）用于解决平滑滤波过程中边界被平滑的问题。由于参考像素是之前已编码的重建像素，可能会引入量化噪声，所以进行平滑滤波可以提高编码效率。但是当对物体边界也进行平滑滤波时，残差块边界附近沿角度模式方向能量会更高，会造成编码性能降低，如Fig.3所示。

为了解决这个问题，本文对参考像素使用一个双边滤波器来代替原来的平滑滤波。双边滤波器在降噪、图像插值、视频处理等领域有广泛的应用，它可以在平滑区域的同时保留边界。双边滤波器BF[.]定义如下：

其中W_s是归一化因子：

待滤波像素I_ij使用窗口S中的像素I_kl进行滤波。双边滤波的本质是I_kl的权重不仅仅和其与I_ij的空域距离有关，也和I_kl与I_ij的像素值差值有关。双边滤波器使用一维5抽头滤波器。滤波强度由两个参数决定：σd和σr。大量实验表明，对于10bit视频σd取值0.8-2.0，σr取值100-200效果最好。

对于σd，本文将其取值为CU宽W或高H的7%：

VVC中由于QTBT技术导致CU不一定是正方形的，对于非正方形的CU对于其左侧和上方参考像素滤波使用的σd不同。具体如下表：

σr参数可以看作是需要保留的边界的最小梯度，当梯度小于σr时该边界会被平滑掉。如Fig.5，原信号的边界不连续量为100，如果双边滤波的σr大于100边界会被平滑掉，小于100边界会被保留。通过对十个序列的第一帧进行梯度计算，最终设置σr的值为150。

本文提出的双边滤波的使用与CU的尺寸和帧内预测模式有关，如下表所示。对于4x4、4x8、8x4的CU不进行滤波，对于水平模式、垂直模式、DC_MODE也不进行滤波。

模式依赖的预测插值（MDIP）

在帧内预测时使用一行参考像素进行预测，对于非整像素位置的参考像素需要进行1/32像素精度的插值。但是传统的1/32精度的插值未考虑到不同角度模式的方向。如Fig.6所示，(a)(d)是原始CU，(b)(e)是使用一行参考像素，(c)(f)是使用两行参考像素。可以看见当使用多个参考行时可以更好的考虑CU纹理的方向。

MDIP(Mode-Dependent Interpolation and Prediction)使用两个参考行。Fig.7展示了对帧内角度模式使用MDIP的例子。

Fig.7(a)是角度模式大于VER_IDX或小于HOR_IDX的情况,Fig.7(b)是其他情况。假设角度模式大于VER_IDX，则预测方向点为Fig.7(a)中的Lpred，和第一个参考行的交叉点为RFrac_bottom,和第二个参考行的交叉点为RFrac_top。可以用这两个交叉点和另外两个垂直交叉点Rvir_bottom、Rvir_top做矩形。Fig.7(a)中这四个点按照1/32像素精度计算如下：

然后过矩形中心做Lpred的垂线L pred_perpend，垂线和矩形两条边交于Vintp_L和Vintp_R。由于两条线相互垂直，所以它们斜率之积为-1。设Fig.7中虚线矩形的宽高分别为Wr、Hr，则有：

wv1和wv2是垂直插值的权重，满足wv1=8*wv2,wv2∈{0,1,2,3,4}。

最终的预测值为：

其中wL,wC,wR为权值，b=(wL+wC+wR)/2，(wL+wC+wR)=2^n。

对于水平、垂直、对角线、副对角线模式，它们只使用了整像素位置像素，不需要进行MDIP插值，它们的预测值直接由两个参考行的两个参考像素的均值求出。

对于图像边界和CTU边界的CU，使用MDIP需要两倍的线性缓存，这种情况下强制该CU只使用一行参考像素。

实验结果

客观结果

EPIRSF的结果：

MDIP的结果：

EPIRSF和MDIP的结果：

主观结果

EPIRSF的主观结果：

感兴趣的请关注微信公众号Video Coding