H.266/VVC的关键编码技术（二）：帧间预测

帧间预测

帧间预测是指利用视频邻近帧之间的相关性，在参考帧中搜索当前编码块的最佳匹配块作为预测块，达到去除时域冗余信息的口的。对于视频信号来说，时域冗余是最主要的，因此VVC中加入了许多新的帧间预测技术提高帧间预测精度。

1. 下面将对部分帧间新技术进行简单介绍。

对于选择帧间预测的编码单元，编码端需传输由运动矢量、参考帧索引、参考帧列表，以及VVC种新的编码技术所需的附加信息组成的运动参数，在解码端利用这些信息就可生成帧间预测像素值。当使用skip模式对CU进行帧间预测时，CU不需要传输残差系数和MVD(Motion Vector Difference);当使用Merge模式时，当前CU的运动参数可直接从邻近己编码的CU获得;除此之外的帧间预测模式需显式传输运动参数至解码端。

(1)扩展的Merge模式

在VTM6.0中，通过以下五种类型的候选运动矢量预测MVP(Motion VectorPrediction)构建Merge列表:
(i)空域候选MVP:从空域相邻CU得到空域MVP 。
(ii)时域候选MVP:对同位CU的MVP伸缩得到时域MVP。
(iii)HMVP(History-based MVP)建立一个FIFO(First Input First Output) 表得到的历史MVP 。
(iv)成对平均MVP:对己构建的merge列表中MVP两两组队平均。
(v)MV=0。
Merge列表大小在Slice头中表示，VTM6.0中Merge列表的最大允许长度是6。

(2)有MVD的Merge模式

在HEVC中的Merge模式中，Merge列表中的MVP直接用于当前CU的预测生成，VVC中引入带有运动矢量差值MVD的Merge模式即MMVD(Merge mode with MVD)技术，运动矢量预测MVP(Motion Vector Differences)与MVD相加，得到真实的运动矢量MV，用于当前CU的帧间预测。当编码单元采用Skip模式和Merge模式时，是否使用MMVD的标志会被传输至解码端。VTM6.0中MMVD技术的流程大致如下:第一步，选择普通Merge列表中的前两个候选MV作为初始运动矢量;第二步，对该MV进行扩展，主要在4个方向以及8种步长上进行扩展，对扩展MV使用RD-Cost进行比较，在所有扩展MV中选择出最优的一个作为最终的MV传递至解码端。

(3)仿射运动补偿预测

HEVC中的运动补偿预测技术只采用简单的平移运动模型，为了进一步解决现实世界存在的放大/缩小、旋转、透视以及其他不规则的复杂运动模型，VVC中引入了基于块的仿射运动补偿技术，与其他帧间预测模式竟争，提高帧间编码效率。


编码单元的仿射运动模型由2个控制点(4个参数)或者3个控制点(6个参数)的运动信息描述。
对于4参数模型，当前CU内部(x,y)处Sub-CU的运动信息计算方式如下:
对于6参数模型，当前CU内部(x,y)处Sub-CU的运动信息的计算方式如下:

(4)三角划分
在VVC中，CU划分方式变得更加丰富，在帧间预测中可以使用三角划分模式TPM(Triangle Partition Mode)，将CU沿对角线分割为两个大小相同的三角形，对于每个三角形使用单向预测并传输运动矢量和参考帧索引至解码端。

如图，在TPM中CU可以选择两种划分方向，因此需使用一个标志位表示选择的三角划分方向。在做单向预测时，对每个三角分区建立merge列表，并传输索引至解码端。在得到两分区的预测值后，将两分区接近对角线的区域按照指定的权重进行加权平均，权重如图2-11所示，在远离对角线的区域分别使用各自分区的预测值。

(5)帧内帧间联合预测
顾名思义，帧内帧间联合预测(Combined inter and intra prediction, CIIP)是将帧内预测和帧间预测相结合，帧内预测信息Pintra使用帧内Planar模式生成，帧间预测信息凡Pinter使用常规merge模式生成。

利用加权平均将帧内预测信息和帧间预测信息组合，加权权值根据顶部和左侧相邻块的编码模式计算得到:
(i)如果顶部相邻块可用并且是帧内模式，设isIntraTop为1，否则设为0。
(ll)如果左侧相邻块可用并且是帧内模式，设isIntraLeft为I，否则设为0。
(iii)如果isIntraTop+isIntraLeft的和为2，则将wt设为3;若和为1，则将wt设为2;否则，将wt设为1。
CIIP的加权公式为: