图像处理：图像拼接简述

1 简介

图像拼接是将多个重叠的图像对齐成一个大的组合，它代表了一个3D场景的一部分。

拼接可以看做是场景重建的一种特殊情况，其中图像仅通过平面单应性进行关联。

图像拼接在运动检测和跟踪，增强现实，分辨率增强，视频压缩和图像稳定等机器视觉领域有很大的应用。

如上图所示：图像拼接分为四个步骤：

1. 图像匹配（registration）
   图像匹配是指一对描绘相同场景之间的几张图片的几何对应关系。一组图片可以是不同时间不同位置的拍摄，或者由多个传感器同时拍摄多张图像。
2. 重投影（reprojection）
   通过图像的几何变换，把一系列图像转换成一个共同的坐标系。
3. 缝合（stitching）
   通过合并重叠部分的像素值并保持没有重叠的像素值使之生成更大画布的图像。
4. 融合（blending）
   通过几何和光度偏移错误通常导致对象的不连续，并且两个图像之间的边界附近产生可见的接缝。因此，为了减小接缝的出现，需要在缝合时或缝合之后使用混合算法。

2 图像拼接算法分类

图像匹配和融合是直接影响图像拼接性能的两个显著的研究领域。作为图像拼接的第一个和最后一个步骤，如果没有正确的图像匹配和融合算法，几乎不可能进行成功的图像拼接。

以图像匹配方法分类，图像拼接算法可分为：

1. 基于空间域
2. 基于频域

基于空间域的图像拼接可以进一步划分为基于区域的图像拼接和基于特征的图像拼接。基于特征的图像拼接可以在细分为基于底层特征的图像拼接和基于轮廓的图像拼接。基于底层特征的拼接可以分为四类：基于Harris角点检测器的拼接，基于FAST角点检测器的拼接，基于SIFT特征检测器的拼接，以及基于SURF特征检测器的拼接。

以融合算法分类，拼接算法可以分为平滑过渡和基于最佳接缝。基于平滑过渡拼接可以进一步被分为基于羽化，基于金字塔，和基于梯度的拼接。

3 对图像拼接的“图像匹配方法”分类

图像匹配不仅是图像拼接的重要一步，也是它的基础。
对于相同的目标，但来自不同的传感器、不同的角度和不同的时间产生的多源图像进行匹配，通过观察各对图像之间的对应关系来计算最佳几何变换。这一过程通过预估的几何变换把多源图像排列在一个共同的参考系中。如果多源图像对应点排列在一起，则图像匹配成功。上述的对应关系可以通过匹配图像之间的模板，或通过匹配从图像中提取的特征，或者通过利用在频域中的相位相关属性来建立。