【五】 H.266/VVC的帧间预测技术

帧间预测技术的基本思想是，根据组成视频的连续图像之间的时域相关性，通过将已经编码的图像作为当前编码图像的参考图像，使用运动矢量表示当前编码块在参考图像中运动的相对位置，并记录参考图像的索引，达到除去连续图像的时域相关性，并且提高编码效率的目的。h.266/VVC的帧间预测编码技术沿用了H.265/HEVC中的运动估计和运动矢量预测技术，同时在HEVC的基础之上添加了一些更高效的编码技术。

一、回顾HEVC中帧间预测的几个关键技术

1.运动估计技术

对当前块在参考图像中寻找对应的匹配块，这一过程称之为运动估计技术。运动估计技术可以找到当前块的$MV$，并在后续编码流程传输到解码端，在解码端，通过$MV$在参考图像中找到对应的参考块，处理后便可以得到当前快的重建块，这样使用$MV$代替了需要传输的当前块的像素值，大大减少了需要传输的信息量。在运动估计中常用SAD参量作为准则来评估两个块之间的相似度。

在运动估计的过程中，还有一个不可忽视的过程，即运动估计的搜索算法。在一些应用领域，通常要求实时性，这就对搜多算法提出了一定的要求，性能完善且高效的搜索算法越来越受到众多学者的青睐。这些算法中常见的有全搜索算法、二维对数搜索算法、三步搜索算法、TZSearch算法等。在自然界中，物体的运动具有一定的连续性，所以相邻的两幅图像之间的物体运动可能并不是以整数像素为单位进行的，而有可能是1/2像素、1/4像素等等分像素为单位进行的。此时若依然使用整数像素为单位进行运动估计，则会出现当前块匹配不准确的问题，导致最终的预测值和实际值之间的残差过大，影响编码性能。所以在H.265/HEVC中，运动估计的过程意味着首先要对图像进行插值运算，将图像的宽度扩展为原来的2倍或者4倍，这样在运动估计时，使用的就是分像素为单位，使用的插值算法为两点临近像素内插方法，而在H.266/VVC中，为了提高运动矢量的精度，通常使用的是1/16像素精度，以便更精确的表示运动过程。

2.MV预测技术

在自然图像中，往往一个运动的物体可能会覆盖多个编码块，这些编码块可能具有相类似的运动信息，导致编码图像空间相邻的块具有较强的空间相关性。如果对于当前的编码块使用相邻已经编码块的$MV$进行预测，将得到的$MV$与实际的MV的差值进行编码，这样就会大幅度减少需要编码一个$MV$所需要的比特数，从而大大减少编码码率。同时由于运动物体在空间和时间上可能都具有连续性，所以$MV$预测技术也分为时间预测和空间预测两种。于是集时域和空域$MV$预测两种思想于一体的Merge技术和AMVP技术被广泛接受并且被收纳在H.265/HEVC标准中。这两种技术的核心思想都是通过建立一个$MV$候选列表，选取表中性能最优的一个MV作为当前编码块的预测$MV$。

Merge技术

对于Merge技术，一个包含5个$MV$的候选列表是由当前算法自动构造生成的，这5个候选$MV$通常包含空域和时域两种类型

MV候选列表的空域构建使用上图方式构建，具体过程是，列表按照B->C->D->E(->F)的顺序建立，其中F为替补块，当前四个中至少有一个无效时，检查F是否有效并添加至候选列表中

$MV$候选列表的时域构建使用上图方式，时域最多提供一个候选$MV$，利用当前编码块在相邻已编码图像中的同位置块的运动信息，通过下列公式缩放得到：
$$curMV=\frac{Td}{Tb}\ast colMV$$
公式中的$curMV$表示当前编码块的$MV$，$colMV$为同位块的$MV$, $Td$为当前图像和当前参考图像的距离，$Tb$为同位图像和同位图像参考图像之间的距离

注意点：$MV$候选列表长度为5，当所有有效的$MV$不足5个是，通过补0进行填满

Merge技术的核心思想是从头到尾一个一个遍历候选列表中所有的 M V MV MV</