运动估计 学习笔记

运动估计 学习笔记

 

参考资料：

1.https://wenku.baidu.com/view/10db3c0a79563c1ec5da7164.html

2.https://baike.baidu.com/item/%E8%BF%90%E5%8A%A8%E4%BC%B0%E8%AE%A1/4571575?fr=aladdin

视频数据在时间上存在着很强的相关性，通过运动估计和运动补偿技术，可以消除视频在时间上的冗余，提高编码效率。

 

一、定义

 

运动估计的基本思想是将图像序列的每一帧分成许多互不重叠的宏块，并认为宏块内所有象素的位移量都相同，然后对每个宏块，在参考帧的某一给定搜索范围内，根据一定的匹配准则找出与当前块最相似的块，即匹配块，匹配块与当前块的相对位移即为运动矢量（motion vector, MV）。视频压缩的时候，只需保存运动矢量和残差数据就可以完全恢复出当前块，如下图所示。

 

二、关键问题

 

1.匹配准则：如何衡量两个块之间的相似程度

为了寻找与当前块最相似的匹配块，需要一个标准来衡量什么是“相似”。可用的指标主要包括MAD，MSE，NCCF等。具体公式如下：

其中，由于MAD计算简单，不涉及乘法运算，因此较为常用。

 

2.搜索策略：如何找到参考帧中与当前块最相似的匹配块

（1）全搜索法：

穷尽搜索所有可能的位置，效率极低，难以满足实时性的要求，因此需要开发快速的搜索算法。

 

（2）多分辨率法：

先在低分辨率下进行搜索，找到近似的最优匹配块之后，再切换至高分辨率下进行修正。运算复杂度较高。

 

（3）连续消除法：没太看懂，所以只放个图

 

（4）像素子抽样法：

由于同一帧中，处于相邻位置的像素往往比较相似，即视频在空间上也存在冗余性。利用这一性质，搜索时可以只对部分像素进行计算。

 

（5）固定模式法：

固定模式法假设参考帧中某个块与当前块的相似度，随着该块与最优匹配块的距离增加而单调减少。因此，可以利用一定的搜索策略，不断逼近全局最优匹配块。固定模式法主要分为以下几种：

A.三步法：

搜索模板为正方形，搜索策略：以起点为中心，边长等于搜索半径的正方形的4个顶点及4条边上的中点，加上起点共9个点，取其中最优点作为下一次搜索的起点，并且搜索半径减半，如下图所示：

B.梯度下降法：

搜索模板为正方形，搜索半径恒定为3*3，搜索策略与三步法类似，当起点为9个待选点中的最优点（即达到局部最优）时结束搜索，如下图所示。其缺点是对于大运动效果不好。

C.四步法：

梯度下降法的改进，为了解决对大运动效果不好的问题，先用固定的5*5模板进行搜索，找到局部最优点时再换用3*3模板进行搜索，寻找局部最优点。

D.菱形法/六边形法：

与四步法类似，只是搜索模板由正方形换成菱形/六边形。

固定模式法的缺点：没有利用图像本身的特点，无法根据图像运动的剧烈程度，自动地调整搜索起点和搜索半径。对于运动剧烈的图像，如果从原点开始搜索，往往要经过多次迭代才能达到最优解，且容易陷入局部最优。

 

（6）序列相关性和视觉特性：

针对固定模式法的不足，人们提出了几种利用了序列图像的时空相关性和人眼视觉特性的搜索方法。

A：预测搜索起点

利用相邻块之间的运动相关性，可以对当前块的运动趋势进行预测，并以预测点为起点进行搜索，预测点通常会比原点更加接近全局最优点，从而使得算法能更快速地收敛。

B：扁平搜索模板

由于序列图像中，块的运动趋势通常接近水平或垂直，因此在搜索时，可以不用对所有方向进行试探，而是专注于水平及竖直方向的搜索，比如十字菱形搜索法。

C：背景图像的快速检测