图像拼接

图像拼接的定义：将一组相互之间存在重叠部分的图像序列先进行空间配准，再经过图像变换、重采样和图像融合后形成一幅包含每个图像序列的宽视角或360度视角的全景图像的技术。

图像拼接技术主要包括三个重要步骤：图像预处理、图像配准和图像融合。

1. 图像预处理

    目的：降低图像配准的难度，提高图像配准精度。

   1.1 图像投影

       目的：使拼接后的图像在视觉上保持一致。

       方法：平面投影、柱面投影、球面投影和立方体投影。

1.2 图像去噪

    目的：减少图像干扰噪声。

    方法：邻域平均、空间域低通滤波、多幅图像平均、中值滤波和图像变换域。

1.3 图像修正

目的：消除或减小图像之间由图像系统产生的非线性差异。

方法：针对灰度值偏差的修正和针对几何变形的修正。

2. 图像配准：根据一些相似性度量来计算不同图像间的变换参数，使不同成像设备在不同                 时间和不同视角获取的同一场景的多幅重叠图像变换到同一坐标系下，并得                  到最佳匹配的过程。

2.1 基于灰度的配准：利用灰度度量两幅图像之间的相似度，采用搜索方法寻找相识度                                      最大的点。

              优点：配准精度高。

              缺点：计算复杂度搞，对遮挡、旋转、形变和光照变焦敏感。

              方法：空间相关度、频域相关度和不变距。

  灰度信息相似时方法：互相关匹配算法、投影匹配算法、基于傅里叶变换的相位                                              匹配算法和图像矩匹配算法。

2.2 基于特征的配准：通过选择待拼接的两幅图像之间的特征和一致性准则来求解变换                                模型的最优参数解空间。

             优点：计算量小、鲁棒性好和对几何形变不敏感。

             缺点：损失大量的图片信息，对一般场景的适应能力较差。

         2.2.1 特征点的提取

方法有：Harris、SUSAN、DoG、SIFT、SURF、Moravec和                         Forstner等算法。

         2.2.2 特征点的标识和描述：采用某种恰当的特征描述方法对特征点周边邻域的                                                      图像局部信息进行描述，提高特征点的独特性和可                                                      识别性。

         2.2.3 特征点的匹配

               相识性度量（欧氏距离），搜索策略（K-D树），去除误匹配点（K最近邻）。

         2.2.4 空间变换矩阵的估计

根据匹配点对求解图像之间的空间变换模型参。

         2.2.5 重采样与插值

                重采样：对待配准图像进行重采样，得到和参考图像同一坐标下的配准图                                      像。

插值：使重采样后的像素值为整数。

2.3 基于变换域（傅里叶变换）的配准

优点：对噪声步敏感，计算复杂度小，且可用FFT提高执行的速度。

缺点：只适用于在傅立叶变换中有相应定义形式(如旋转、平移等)。

2.4 基于模版的配准：在一幅影像中选取一个影像窗口作模板，大小通常为5*5或7*7，                                     然后通过相关函数的计算来找到它在搜索图中的坐标位置。

        优点：精度高、可靠性高以及抗干扰性强。

        缺点：计算量大、准确率不高和实时性差。

3. 图像融合：使用一定的算法，将拼接图像中的各个子图像进行信息综合最终形成一幅完                       美的拼接图像。

      目的：消除亮度和颜色差异，消除几何变换造成的重影（鬼影）。

   方法：加权平均法、多分辨分析法、基于统计的融合方法、伪彩色图像融合法、基                于人工神经网络的融合方法、基于多尺度分析的融合方法偏微分、离散余弦                  变换、独立成分分析和形态学分析。