图像拼接算法总结：

图像拼接技术主要有三个主要步骤：

图像预处理：图像预处理主要指对图像进⾏⼏何畸变校正和噪声 点的抑制等，让参考图像和待拼接图像不存在明显的⼏何畸变。

图像配准：图像配准主要指对参考图像和待拼接 图像中的匹配信息进⾏提取，在提取出的信息中寻找最佳的匹配，完成图像间的对齐。图像拼接的成功与否主要是图像的配准。待拼接的图 像之间，可能存在平移、旋转、缩放等多种变换或者⼤⾯积的同⾊区域等很难匹配的情况，⼀个好的图像配准算法应该能够在各种情况下准 确找到图像间的对应信息，将图像对齐。

图像融合：。图像融合指在完成图像匹配以后，对图像进⾏缝合，并对缝合的边界进⾏平滑处理，让缝合⾃然过 渡。由于任何两幅相邻图像在采集条件上都不可能做到完全相同，因此，对于⼀些本应该相同的图像特性，如图像的光照特性等，在两幅图 像中就不会表现的完全⼀样。图像拼接缝隙就是从⼀幅图像的图像区域过渡到另⼀幅图像的图像区域时，由于图像中的某些相关特性发⽣了 跃变⽽产⽣的。图像融合就是为了让图像间的拼接缝隙不明显，拼接更⾃然。

图像预处理：

几何畸变矫正，光照（阴影）矫正，亮度矫正，噪声抑制。

图像配准：

对于有形变，旋转的，计算变换系数，对于无形变的只计算相对位移关系。

配准方法：

基于区域

逐一比较法，即模板匹配法。

该算法的优点:

(1)算法思路⽐较简单，容易理解，易于编程实现。

(2)选⽤的模板越⼤，包含的信息就越多，匹配结果的可信度也会提⾼，同时能够对参考图像进⾏全⾯的扫描。

该算法的缺点:

(1)很难选择待配准图像分块。因为⼀个如果分块选择的不正确，缺少信息量，则不容易正确的匹配，即发⽣伪匹配。同时，如果分块过 ⼤则降低匹配速度，如果分块过⼩则容易降低匹配精度。 (2)对图像的旋转变形不能很好的处理。算法本⾝只是把待配准图像分块在标准参考图像中移动⽐较，选择⼀个最相似的匹配块，但是并 不能够对图像的旋转变形进⾏处理，因此对照⽚的拍摄有严格的要求。

分层比较法，金字塔。

算法的优点:

(1)该算法思路简单，容易理解，易于编程实现。

(2)该算法的搜索空间⽐逐⼀⽐较要少，在运算速度较逐⼀⽐较法有所提⾼。

算法的缺点:

(1)算法的精度不⾼。在是在粗略匹配过程中，移动的步长较⼤，很有可能将第⼀幅图像上所取的⽹格划分开，这样将造成匹配中⽆法 取出与第⼀幅图像⽹格完全匹配的最佳⽹格，很难达到精确匹配。

(2)对图像的旋转变形仍然不能很好的处理。与逐⼀⽐较法⼀样，该算法只是对其运算速度有所改进，让搜索空间变⼩，并⽆本质变 化，因此对图像的旋转变形并不能进⾏相应处理。

相位相关法，基于频域的配准常⽤算法。

相位相关法的优点:

(1)该算法简单速度快，因此经常被采⽤。对于其核⼼技术傅⽴叶变换，现在⼰经出现了很多有关的快速算法，这使得该算法的快速性 成为众多算法中的⼀⼤优势。另外，傅⽴叶变换的硬件实现也⽐其它算法容易。

(2)该算法抗⼲扰能⼒强，对于亮度变化不敏感。

相位相关法的缺点:

(1)该算法要求图像有50%左右的重叠区域，在图像重叠区域很⼩的时，算法的结果很难保证，容易造成误匹配。

(2)由于Fourier变换依赖于⾃⾝的不变属性，所以该算法只适⽤于具有旋转、平移、⽐例缩放等变换的图像配准问题。对于任意变换模型，不能直接进⾏处理，⽽要使⽤控制点⽅法，控制点⽅法可以解决诸如多项式、局部变形等问题。

基于特征点

⽐值匹配法

⽐值匹配法的优点:

(1)算法思路清晰简单，容易理解，实现起来⽐较⽅便。

(2)在匹配计算的时候，计算量⼩，速度快。

⽐值匹配法的缺点:

(1)利⽤图像的特征信息太少。只利⽤了两条竖直的平⾏特征线段的像素的信息，没有能够充分利⽤了图像重叠区域的⼤部分特征信息。 虽然算法提到，在搜索图S中由左⾄右依次从间距相同的两列上取出部分像素，计算其对应像素的⽐值，然后将这些⽐值依次与模版进⾏⽐ 较，好像是利⽤了搜索图S中的重叠区域的⼤部分图像信息，但在参考图像T中，只是任意选择了两条特征线，没有充分利⽤到参考图像T的 重叠区域的特征信息。

(2)对图⽚的采集提出了较⾼的要求。此算法对照⽚先进⾏垂直⽅向上的⽐较，然后再进⾏⽔平⽅向上的⽐较，这样可以解决上下较⼩的 错开问题。在采集的时候只能使照相机在⽔平⽅向上移动。然⽽，有时候不可避免的照相机镜头会有⼩⾓度的旋转，使得拍摄出来的照⽚有 ⼀定的旋转，在这个算法中是⽆法解决的。⽽且对重叠区域⽆明显特征的图像，⽐较背景是海洋或者天空，这样在选取特征模版的时候存在 很⼤的问题。由于照⽚中存在⼤块纹理相同的部分，所以与模版的差别就不⼤，这样有很多匹配点，很容易造成误匹配。

(3)不易对两条特征线以及特征线之间的距离进⾏确定。算法中在参考图像T的重叠区域中取出两列像素上的部分像素，并没有给出选择 的限制。然⽽在利⽤拼接算法实现⾃动拼接的时候，如果选取的特征线不是很恰当，那么这样的特征线算出来的模版就失去了作为模版的意 义。同时，在确定特征线间距时，选的过⼤，则不能充分利⽤重叠区域的图像信息。选择的过⼩，则计算量太⼤。

　基于轮廓特征的算法

　角点检测算法

　SIFT尺度不变特征转换算法

基于深度学习的图像拼接方法

CNN

图卷积网络（GCN）

图像融合

传统，加权融合，均值融合，最大值融合，线性融合

小波变换融合

GAN融合