ICIP2020：VVC两步渐进式帧内预测

 

​本文来自ICIP2020文章《TWO-STEP PROGRESSIVE INTRA PREDICTION FOR VERSATILE VIDEO CODING》

由于VVC的帧内预测只使用局部的参考像素无法处理复杂的纹理。本文中在帧内预测时结合了局部和非局部相关性进一步降低冗余。

动机

由于低频系数通常偏大，需要很多比特来编码。如果能对低频系数进行更精准的估计那么编码效率会进一步提高。

• 模板匹配（Template matching，TM）

由于利用局部信息来恢复低频信息很困难，所以发展了很多非局部搜索算法来提高预测效率。模板匹配是其中有潜力的一项技术，它使用邻域重建像素为模板搜索一个相似的非局部块。

• 帧内块复制（Intra block copy，IBC）

IBC技术也类似，它使用块向量（Block Vector，BV）来表示预测块。和TM相比，IBC能找到更精确的预测块但是也需要更多比特来表示预测信息。

通过结合邻域重建像素和高频系数重建的局部像素作为模板，可以搜索一个更精确的非局部相似块而且不需要传输BV。然后，低频系数可以通过非局部相似块来预测。

本文方法

在VVC中，帧内预测仅使用邻域像素，这导致空域冗余无法被充分消除。本文提出两步渐进式帧内预测方法，结合局部和非局部内容生成更精准的预测结果。

Fig.1是本文算法的框架。首先使用基于预测的模板匹配（TMP）生成一个初步的预测块。然后将扫描顺序在第一和第二频带的残差系数置零，再对剩余系数进行反量化和反变换，这样一个重建块就生成了。然后，重建块和其相邻参考像素结合形成新的模板再次使用TMP。第二次的结果作为当前块的实际预测结果，且第一和第二频带的系数会更新。在传输时需要为每个PU传输一个标志位表示是否开启此功能。

基于预测的模板匹配（TMP）

模板匹配（TM）技术是在参考图像上找一个和模板图像最相似的结构。本文使用TM技术获得首次预测块，使用上方参考像素、左上方参考像素和左侧边界像素构建模板（如Fig.1的L型）。

由于搜索的位置太多导致TM复杂度过高，本文限制搜索区域并将搜索区域划分为4个部分。如Fig.2所示。

在每个搜索区域选择3个MSE最小的匹配候选项。用同一区域内三个最佳匹配块的加权平均作为当前块的第一遍预测，如下式所示，

其中P_i1,P_i2,P_i3是第i个区域三个最佳匹配项的对应重建块，E_i1,E_i2,E_i3是对应的MSE。P_s1i是第一遍预测结果。

当所有区域都搜索完之后，预测像素和原始像素MSE最小的区域被选为最佳区域。对应的预测表示为P_s1，区域的标号通过码流传输。然后在选定的区域内进行TMP，解码端能够获得预测结果。

渐进式二次预测

对于复杂的纹理内容或噪声，使用L型模板进行TMP时残差会很大。为了提高预测精度，本文提出渐进式预测，使用第一次预测的高频系数来辅助二次预测，如Fig.3所示。

第一步，首先输入像素和第一次预测像素P_s1相减得到残差C。对残差进行变换、量化得到量化系数。然后将低频系数置零，使用剩余系数进行重建。获得重建块T_c。

第二步，将L型重建模板T_r和T_c结合构成最终模板T_w。使用T_w模板进行TMP，如Fig.1所示。为了减少复杂度，仅在第一次预测中的最优区域进行搜索。选择E_w最小的位置为最优匹配位置，

其中E_r和E_c分别是模板与T_r和T_c间的MSE。最优位置的重建像素表示为P_s2，它是当前块最终预测结果。

最后，更新低频系数。第二次预测结果P_s2进行变换量化得到新的系数C'。C'中的低频部分和C结合生成最终量化系数，这些系数被传输到解码端。通过新的预测像素和系数重建出最终的重建像素。

可以看见，第二次预测不仅用到相邻的重建信息也用到了当前块的纹理信息，所以只有和其纹理相似的预测块才能更好匹配。这样就可以减小残差值从而减少编码残差系数需要的比特数。使用第二次预测结果作为最终预测结果也能减少量化误差。

Fig.4是不同频带系数编码占用的比特数和预测精度。预测精度是指当相应频带强制为零时，最佳匹配位置与搜索位置的一致性。为了平衡预测精度和比特数，本文只对第一、二频带置零。

实验结果

编码工具使用VTM7.0，使用all intra (AI)配置，只编码测试序列前200帧，QP选择{22,27,32,37}。测试结果如表1所示，

可以看见本文算法在AI配置下达到0.87%的增益，尤其是对SCC序列（Class F）在开启IBC时增益达到1.31%。

Fig.5显示了搜索结果，红、绿、蓝框分别表示本算法编码的块、一次、二次预测的块。可以看见二次预测可以修正一次预测的结果得到更相似的块。

感兴趣的请关注微信公众号Video Coding