计算机视觉——全景拼接

1. 图像拼接简介

图像拼接在运动检测和跟踪、增强现实、分辨率增强、视频压缩和图像稳定等机器视觉领域有很大的应用。

分为四个步骤：

• 图像匹配（registration）：是指一对描绘相同场景之间的几张图片的几何对应关系。一组照片可以是不同时间不同位置的拍摄，或者由多个传感器同时拍摄多张图像。
• 重投影（reprojection）：通过图像的几何变换，把一系列图片转换成一个共同的坐标系
• 缝合（stitching）：通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像
• 融合（blending）：通过几何和光度偏移错误通常导致对象的不连续，并在两个图像之-间的边界附近产生可见的接缝。因此，为了减小接缝的出现，需要在缝合时或缝合之后使用混合算法.

2. 图像拼接算法分类

图像匹配和融合是直接影响图像拼接性能两个显著的研究领域。
作为图像拼接的第一个和最后一个步骤，如果没有正确的图像匹配和融合算法，几乎不可能进行成功的图像拼接。

现存的图像拼接算法中“图像匹配”和“融合”的方法分类如下：

• 对“图像匹配方法”分类：图像拼接算法可分为基于空间域和频域。
  1.基于空间域的图像拼接可以进一步划分为基于区域的图像拼接和基于特征的图像拼接。
  2.基于特征的图像拼接可以再细分为基于底层特征的图像拼接（low level feature-based image mosaicing）和基于轮廓的图像拼接（contour-based image mosaicing）。
  3.基于底层特征的拼接可以分为四类：基于Harris角点检测器的拼接、基于FAST角点检测器的拼接、基于SIFT特征检测器的拼接、以及基于SURF特征检测器的拼接。

• 对 “融合方法”分类：拼接算法可分为基于平滑过渡（transition smoothening-based）和基于最佳接缝（optimal seam-based）。基于平滑过渡拼接可以进一步被分成基于羽化（feathering-based）、基于金字塔（pyramid-based）、和基于梯度（gradient-based）的拼接。
  -

3. “图像匹配方法(registration)”的选择

3.1 基于空间域(Spatial domain)图像拼接算法

这类算法使用像素的属性进行图像匹配，因此它们是最直接的图像拼接的方法。现有的图像拼接算法大部分都属于这一类。图像拼接算法大部分都属于这一类。
这里选择的是SIFT算法：尺度不变的特征点检测算法。
可用于识别其他图像中的相似目标。SIFT的图像特征表示为关键点描述符（key-point-descriptors）。在检查图像匹配时