相位放大相关性用于改善子像素运动估计

相位放大相关性用于改善子像素运动估计

作者：Dimitrios Konstantinidis于2009年获得了澳大利亚理工学院的电气和电子工程学士学位，2012年获得了英国皇家大学鲁汶分校的人工智能硕士学位，2017年获得了伦敦帝国理工学院的博士学位，主题是通过卫星图像监测城市变化。自2013年以来，他一直在CERTH-ITI（希腊塞萨洛尼基信息技术研究所研究和技术中心）工作，最初是作为研究助理，然后是研究助理。他的研究兴趣在于计算机视觉、图像和视频处理、机器和深度学习以及人工智能领域。
•本文发表在IEEE TRANSACTIONS ON IMAGE PROCESSING, VOL. 28, NO. 6, JUNE 2019.

1.本文提出的问题：相位相关（PC）广泛应用于亚像素运动估计中，但这些技术存在无法克服的精度下限，本文针对该问题提出一种新的相位放大相关（PAC）（提议的PAC核心是基于这样一个概念，即细微的运动一旦被放大，就可以变得更可靠地被估计）。

2.实验：
（1）磁共振图像实验

采用Hoge提供的一组磁共振图像在特斯拉磁共振扫描仪上使用生产质量的快速自旋回波序列获得的图像（256x256）来评估亚像素运动估计算法
还分析了噪声影响下运动估计算法的亚像素精度，通过以0.005的步长在[0.005-0.05]范围内嵌入具有零均值和方差的加性高斯白噪声的磁共振图像来实现的

•使用均方误差度量来执行运动估计算法的评估，均方误差度量之外，还采用运动补偿预测误差的峰值信噪比(PSNR)来评估运动估计算法的性能。
PSNR=10log⁡(255^2/(MSE_I ))
MSE_I=1/MN ∑24_(x=1)^{M▒∑24_(y=1)}N▒〖(I(x,y)−I_MC (x,y) )^2 〗
•MSE_I 可评估原始图像和运动补偿图像之间的相似性，并且它可以被认为是运动补偿的视觉质量的度量。
实验发现PAC核的噪声处理项参数是高斯核，将其固定为5X5像素大小，标准偏差为0.4.

为了进一步支持高斯噪声处理项的使用，试验了替代的低通滤波器，实验表明高斯滤波器的性能略优于其他已测试的滤波器，尤其是在放大倍数较大的情况下，表现出抑制相位噪声的能力。

（2）视频序列实验

通过运用基于块的运动估计，对这些视频序列评估测试的运动估计算法。
⟹每个帧被分成大小为16x16、32x32和64x64像素的非重叠块，并且对所有序列上的每个块评估局部运动补偿估计误差。

结论：在实验中均发现的问题，PAC的性能会随着相位放大系数的增加而提高，但到达某一点后放大系数增加结果会变差，原因有两个：1）破坏离散互相关函数的放大相位噪声2）互相关峰值幅度的下降，这抑制了其检测和精确估计。

贡献：PAC核可以插入到任何基于频率的运动估计算法的核中，并通过计算新的交叉功率谱和交叉相关函数直接替换PC核；PAC核心通过计算新的互相关函数克服了当前运动估计算法的精度下限，该互相关函数在使用成熟的插值方法提取互相关峰值之前更好地模拟了比较图像之间的偏移；所提出的噪声处理项能够抑制噪声的影响并提高亚像素运动估计精度，还提供了对运动放大系数的分析，以及一组约束的定义，如果违反这些约束，PAC内核将无法再以最佳方式运行；