关于亚像素运动估计的二次模型2之HEVC Fast FME Algorithm using IME RD-Costs based Error Surface Fitting Scheme

基于IME RD-Costs的误差曲面拟合方案的HEVC快速FME算法

运动估计（ME）由整数运动估计（IME）和分数运动估计（FME）组成，是HEVC编码过程中计算量最大的模块。本文提出了一种基于六参数二维误差表面模型的快速分数像素运动搜索方法。
在论文的提议中，通过求解超定方程，使用九个整像素率失真成本（RDC）（包括最佳整数像素搜索候选者及其八个相邻整数像素）来估计模型中的六个参数。然后，我们可以得到拟合误差表面方程的最小位置，即四分之一像素精确搜索中心。论文在四分之一像素搜索阶段提供了三种搜索模式，可以在计算复杂度和预测精度之间进行权衡。
实验结果表明，与HM参考软件（HM-15.0）相比，三种提出的FME模式可以减少35.1％，29.4％和22.5％的编码时间，而相应的BDBR压缩效率损失为3.04％，分别为0.79％和0.43％。

在ME的过程中，巨大的计算在实时编码器设计中引起严重的麻烦。图1显示了使用两种IME算法的HM-15.0编码的复杂性统计。我们可以观察到ME程序占整个编码时间的58％以上。为了降低计算复杂性，采用了两种策略：快速IME和快速FME。实际上，如图1所示，在应用快速IME算法之后，FME已成为编码器中的主要计算密集型模块。虽然IME算法已逐渐成熟，但开发快速FME算法非常重要。 FME的复杂性来自于子像素生成的插值和RDC计算。

之前的实验结果[3]描述了真实世界图像的块通常是平滑和平缓的，这导致了中心偏向的全局最小MV分布。 Du等人[4]提出了基于快速FME的误差曲面模型。然后，引入了几个函数来拟合误差表面，并通过最小化函数来计算最佳子像素位置。 在[5]中，提出了一个5参数误差表面，其中的参数由5个整像素RDC获得。然后，处理使用5参数误差表面的最小点作为中心的细化FME。 Dai等人分别通过半像素FME和四分之一像素FME中的两个5参数模型来近似误差表面[6]。Hill等人采用了从6个整像素RDC估计的6参数模型[7]。 Dikbas等人开发了一个9参数三次多项式模型来提高精度[8]。

 在本文中，我们提出了一种基于误差表面模型的快速分数像素搜索方法。 贡献来自两个方面：首先，所提出的二次多项式误差表面模型是从最佳整数像素的RDC及其八个整数邻域导出的。 其次，我们提出了简化的FME搜索模式，它不仅减少了搜索位置数，还缩小了子像素插值的复杂性。

在HEVC中，ME由整数像素搜索和分数像素搜索组成，两者都返回由RDC性能判断的最佳MV。 一般来说，RDC计算如下，

   是运动矢量差（MVD，即运动矢量和运动矢量预测器之间的差），λ是拉格朗日乘数，RMV表示MVD的速率成本。 表示原始块和预测块之间的绝对差之和的SAD用作IME过程中的失真成本。 在FME中，SATD是匹配失真成本，它是预测残差的绝对Hadamard变换系数的总和。 

A.使用九个整数像素RDC进行误差表面估计 

其中R表示整数MV的RDC，x和y分别表示与横坐标和纵坐标中的最佳整数MV的距离。 在论文的提议中，九个整数像素RDC，包括最佳整数MV及其八个邻居，用于估计（2）中的六个参数，这由以下矩阵运算表示 

九个整数MV的RDC，即Ri（i∈{1,2,3,4,5,6,7,8,9}）及其位置如图2所示。例如，R1表示RDC 最好的整数MV。 R1的相应x和y均为0。 Ri可以在IME程序中获得。

为方便起见，我们将矩阵运算（3）重写为以下形式

因为Q是一个9x6矩阵，显然，（4）是一个超定方程。 利用传统的凸优化方法，将〜P的解决方案表达为 

其中T表示转置操作。 （QTQ）-1QT是常数矩阵。 实际上，模型（2）中的参数F对最小位置预测没有影响，因此我们只删除该项。 最后，我们有

通过导出关键参数，我们可以通过计算函数的导数推导出误差曲面模型中的最小位置，即

结果，最小位置由计算 

因为四分之一像素精度足够，我们可以通过比较分子的幅度和分母的缩放幅度来避免（8）中的除法运算 

使用上述最小位置作为搜索中心，我们的FME细化可以在计算复杂度和压缩效率之间进行权衡。
具体而言，我们提出了三种搜索模式第一种模式只搜索最小位置; 第二种模式搜索最小位置及其水平和垂直最近的四个四分之一像素位置; 第三个搜索最小位置和所有八个相邻的四分之一像素位置 

B. Comparison of Different Methods

提出了三种用于近似误差表面的模型，即5参数模型，6参数模型和9参数模型。 9参数模型通过使用立方项来努力提高拟合精度。但是，我们的实验表明，立方项对搜索中心预测几乎没有积极影响，同时在计算最小位置时引入了更多的乘法。对于5参数模型，其计算复杂度在三个竞争对手中最低。但是，没有交叉项，即x·y，它只能适合误差表面，如图3（a）所示。相反，当椭圆轮廓的轴在对角线方向上时，如图3（b）所示，6参数模型对于拟合误差表面是必不可少的。三种典型模型的编码质量分析，包括5参数模型，使用6个整数像素RDC的6参数模型，以及使用9个整像素RDC的6参数模型，如表I所示。二十五个典型的开放测试序列，包括类AF，用QP = {22,27,32,37}进行测试。编码性能比较的度量是BDPSNR，其中采用原始HM-15.0作为基准[9]。所有待测模型都应用9点FME搜索模式，如第II-A节所述。因此，所有候选人的节省时间的表现相互匹配。对于编码质量，性质是，因为5参数模型丢弃x·y的项，其编码质量低于其他6参数模型。与源自6个RDC的6参数模型相比，我们的超定系统通过在参数估计中引入更多约束来改善性能。因此，BDPSNR = + 0.003dB平均地改善了编码图像质量。在F类测试中，该编码质量差距扩大到BDPSNR = + 0.008dB 

C. Interpolation Simplification

原始FME算法首先搜索以最佳整数MV为中心的九个半精度MV并计算它们的RDC以获得最佳半精度MV。然后，它通过计算以最佳半精度MV为中心的九个四分之一像素MV的RDC来选择最佳四分之一精度MV。事实上，执行许多分数像素内插，并且应该存储所生成的像素以用于进一步的失真计算。像素分类如图2所示。在图2中，方形点表示整数像素，菱形点是半像素，圆点表示四分之一像素。所有小数像素属于整数像素（0,0）。例如，如果图中的最佳整数像素是（0,0）。在图2中，我们必须在（0,0）周围插入属于八个搜索候选的半像素，即“b”，“j”，“h”等。然后，如果最佳半精度MV位于图片中的“j”，则另外八个具有四分之一像素精度的候选{{e“，”f“，”g“，”k“，”o“，”n“ “，”m“，”i“}需要进行插值和存储，以进行四分之一精度像素细化。
在论文的提议中，可以通过找到误差表面的最小位置直接估计最佳的四分之一精度MV，从而节省了大量的插值计算和存储。让我们使用与上面相同的例子，即，最佳整数MV是（0,0）并且误差表面的最小位置位于“j”上。如果我们采用第II-A节中提到的第一搜索模式，则应该为第一步搜索仅计算一个半像素搜索候选“j”。要被三个提出的细化模式的内插的所有像素是{“j”}，{“j”，“f”，“k”，“n”，“i”}和{“j”，“e”，“ f“，”g“，”k“，”o“，”n“，”m“，”i“}分别少得多比原来的FME。显然，所提出的方法简化了插值过程。 

定量编码效率分析是基于平均PSNR（BDPSNR）增益和平均速率（BDBR）减少[9]。 通过编码过程的节省时间性能来评估我们的提议的复杂性降低。 设THM表示HM-15.0和TFM消耗的编码时间是我们基于误差曲面拟合的快速FME算法所用的时间，而？T表示编码时间减少，写为 

性能比较见表II。在表II中，我们提供了三种提议搜索模式的性能统计数据。具体而言，let（mvx，mvy）表示最接近（8）的四分之一像素位置。 “建议我”只计算（mvx，mvy）中的RDC。 “提议的II”搜索（mvx，mvy）及其最近邻居（mvx±1/4，mvy）和（mvx，mvy±1/4）。 “提议的III”搜索（mvx，mvy）和所有8个邻居。我们可以看到，“建议我”实现了最大的计算节省（35.1％），而其增长也是最大的（BDBR = + 3.04％）。相比之下，“Proposed III”具有最佳编码质量（BDBR = + 0.43％），编码时间节省22.5％。 “建议II”的表现处于“建议I”和“建议III”的中间。我们在[6]中实现了这项工作，提出了一个两轮5-参数误差曲面模型。在第一轮估计中，它执行半像素FME以导出半像素最小位置的RDC。在第二轮处理中，基于新的半像素RDC，以四分之一像素精度细化最小位置。正如预期的那样，它的节省时间的性能接近我们的“建议我”。然而，由于我们的方法采用6参数模型并在模型估计中引入了更多约束，因此“建议I”的编码质量更高。

本文提出了一种基于6参数误差曲面拟合模型的快速分数像素搜索算法。 在我们的提议中，9个整像素RDC（包括最佳整数像素搜索候选者及其八个相邻像素）用于通过求解超定方程来估计模型中的关键参数。 然后，使用误差表面的最小位置作为四分之一像素搜索中心，我们进一步提供三种模式以在计算强度和压缩效率之间进行权衡。 低复杂度配置节省了35.1％的时间，代价是BDBR = + 3.04％的速率增加。 相反，高复杂度模式在BDBR = + 0.43％时具有最小编码损失，而节省时间仅为22.5％。中等配置平衡这两个度量，BDBR = + 0.79％和ΔT= 29.4％。