图像拼接算法的综述
Image mosaicing techiques
简 介
ONE
图像拼接是将多个重叠的图像对齐成一个大的组合,它代表了一个3D场景的一部分。拼接可以看作是场景重建的一种特殊情况,其中图像仅通过平面单应性进行关联。图像拼接在运动检测和跟踪、增强现实、分辨率增强、视频压缩和图像稳定等机器视觉领域有很大的应用。
在此前的很多研究中,并没有人对现有的图像拼接算法进行分类,因此本文基于图像配准和图像融合对对过去和现在的拼接技术进行了分类。
如图所示,图像拼接分为四个步骤:图像匹配(registration)、重投影(reprojection)、缝合(stitching)和融合(blending)。
图像匹配:是指一对描绘相同场景之间的几张图片的几何对应关系。一组照片可以是不同时间不同位置的拍摄,或者由多个传感器同时拍摄多张图像。
重投影:通过图像的几何变换,把一系列图片转换成一个共同的坐标系。
缝合:通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像。
融合:通过几何和光度偏移错误通常导致对象的不连续,并在两个图像之间的边界附近产生可见的接缝。因此,为了减小接缝的出现,需要在缝合时或缝合之后使用混合算法。
图像拼接算法的分类
TWO
“图像匹配”和“融合”是直接影响图像拼接性能两个显著的研究领域。作为图像拼接的第一个和最后一个步骤,如果没有正确的图像匹配和融合算法,几乎不可能进行成功的图像拼接。我们对现存的图像拼接算法中“图像匹配”和“融合”的方法进行分类。
对“图像匹配方法”分类,图像拼接算法可分为基于“空间域”和“频域”。基于空间域的图像拼接可以进一步划分为基于区域的图像拼接和基于特征的图像拼接。基于特征的图像拼接可以再细分为基于底层特征的图像拼接和基于轮廓的图像拼接。基于底层特征的拼接可以分为四类:基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。
根据“融合方法”,拼接算法可分为基于平滑过渡和基于最佳接缝。基于平滑过渡拼接可以进一步被分成基于羽化、基于金字塔、和基于梯度的拼接。
对图像拼接的“图像匹配方法”分类
THREE
图像匹配不仅是图像拼接的重要一步,也是它的基础。对于相同的目标,但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配,通过观察各对图像之间的对应关系来计算最佳几何变换。这一过程通过预估的几何变换把多源图像排列在一个共同的参考系中。如果多源图像对应点排列在一起,则图像匹配成功。上述的对应关系可以通过匹配图像之间的模板,或通过匹配从图像中提取的特征,或者通过利用在频域中的相位相关属性来建立。
结 论
FOUR
图像拼接是计算机视觉领域的一个重要课题。拼接算法的成功与否主要取决于配准和混合方法。本文提出了一种基于图像配准和混合算法的分类图像拼接方法。除了提供描述,在不同的分类中,本文讨论了每种分类的优点和缺点。从讨论中,我们认为没有单一的最佳图像镶嵌分类。与此同时,近年来不断出现的新的拼接方法使得为特定的目的选择合适的拼接算法变得非常困难。
你的关注是我们持续更新的动力!
文案|赵泽立
排版|孙静正
审核|刘励