图像拼接知识+代码

写在前面：由于项目需求，接触了一下图像拼接，以此记录一下图像拼接的基本知识，方便后续查看。

具体步骤为：输入图像、特征提取Feature Extraction、图像配准Image Registration、用RANSAC计算单应矩阵H、变形和融合ImageWraping and Blending、输出图像

一、特征提取：在所有输入图像中检测特征点

为了给图像对提供更好的特征匹配，采用角点匹配进行定量测量。角点是很好的匹配特性。在视点变化时，角点特征是稳定的。此外，角点的领域具有强度突变。角点检测算法有Harris角点检测算法、SIFT特征点算法（Scale Invariant Feature Transform）、FAST角点检测算法、SURF特征点检测算法（Speeded-up robust feature）

1、Harris角点检测算法：在移动窗口时，平坦区域在所有方向上均不会显示强度的变化。边缘区域在沿边缘方向强度不会发生变化。对于角点，则在各个方向上产生显著强度变化。Harris角点探测器给出了一种检测平坦区域、边缘和角点的数学方法。Harris检测的特征较多，具有旋转不变性和尺度变异性。

2、SIFT角点检测算法：SIFT算法是尺度不变的特征点检测算法，可用于识别其他图像中的相似目标。SIFT的图像特征表示为关键点描述符（key-point-descriptors）。在检查图像匹配时，将两组关键点描述符作为输入提供给最近邻搜索(Nearest Neighbor Search，NNS)，并生成一个紧密匹配的关键点描述符（matching key-point-descriptors）。

分为以下四个阶段：

1. 尺度空间构造（Scale-space construction）
2. 尺度空间极值检测(Scale-space extrema detection)
3. 关键点定位(key-point localization)
4. 方向分配(orientation assignment)和关键点描述符定义(defining key-point descriptors)

第一阶段确定潜在的兴趣点。它利用高斯函数的差分(difference of Gaussian function,DOG)搜索所有尺度和图像位置。第一阶段中发现的所有兴趣点的location和scale是确定的。根据关键点的稳定性来选择关键点。一个稳定的关键点能够抵抗图像失真。在方向分配环节，SIFT算法计算稳定关键点周围梯度的方向。根据局部图像梯度方向，为每个关键点分配一个或多个方向。对于一组输入帧，SIFT提取特征。图像匹配使用Best Bin First(BBF)算法来估计输入帧之间的初始匹配点。为了去除不属于重叠区域的不需要的角，使用RANSAC算法。它删除图像对中的错误匹配。通过定义帧的大小、长度和宽度来实现帧的重投影。最后进行拼接，得到最终的输出拼接图像。在拼接时，检查场景每帧中的每个像素是否属于扭曲的第二帧。如果是，则为该像素分配来自第一帧的对应像素的值。SIFT算法既具有旋转不变性，又具有尺度不变性。SIFT非常适合于高分辨率图像中的目标检测。它是一种鲁棒的图像比较算法，虽然速度较慢。SIFT算法的运行时间很大，因为比较两幅图像需要更多的时间。

3、FAST算法：对于FAST，角点的检测优于边缘检测，因为角点有二维强度变化，容易从邻近点中区分出来。适用于实时图像处理应用程序。

满足如下要求：

1. 检测到的位置要一致，对噪声变化不敏感，对同一场景的多幅图像不能移动。
2. 准确;检测到的角点应该尽可能接近正确的位置。
3. 速度;角落探测器应该足够快。

原理：首先围绕一个候选角点选择16个像素点。如果其中有n（n一般为12）个连续的像素都比候选角点加上一个阈值要高，或者比候选角点减去一个阈值要低，那么此点即为角点

FAST是一种精确、快速的算法，具有良好的定位(位置精度)和较高的点可靠性。FAST的角点检测的算法难点在于最佳阈值的选择。

4、SURF算法：Speed-up Robust Feature(SURF)角点探测器采用三个特征检测步骤;检测(Detection)、描述(Description)、匹配(Matching)，SURF通过考虑被检测点的质量，加快了位移的检测过程。它更注重加快匹配步骤。使用Hessian矩阵和低维描述符来显著提高匹配速度。SURF在计算机视觉社区中得到了广泛的应用。SURF在不变特征定位上十分有效和鲁棒

二、图像配准：建立图像之间的几何对应关系，使它们可以在一个共同的参照系中进行变换、比较和分析。

1、直接使用图像的像素值的算法，比如Correlation methods

2、在频域处理的算法，比如快速傅里叶（FFT-based）方法

3、低水平特征的算法Low Level Features，通常用到边缘和角点，比如基于特征的方法

4、高水平特征的算法，通常用到图像物体重叠部分，特征关系，比如图论方法

在特征点被检测出来之后，我们需要以某种方式将它们关联起来,可以通过NCC或者SDD（Sum of Squared Difference）方法来确定其对应关系。

**归一化互相关（Normalizeed Cross Correlation，NCC）：**分析第一幅图像中每个点周围的像素窗口，并将它们与第二幅图像中每个点周围的像素窗口关联起来，将双向相关性最大的点作为对应的对。此方法的优点是计算简单，但是速度特别慢。此外，此类算法要求源图像之间必须有显著的重叠。

互信息（Mutual Information,MI）：测量基于两个图像之间共享信息数量的相似性。

然而会有许多点被错误的关联在一起。

所以我们需要计算单应矩阵：不属于重叠区域的不需要的角被删除，一般采用RANSAC算法进行单应。

RANSAC（Random Sample consensus）：从可能含有异常值的观测数据中拟合数学模型，是一种鲁棒参数估计的迭代方法。

原理：从数据集中随机选取一组数据并认为是有效数据（内点）来确定待定参数模型，以此模型测试数据集中的所有数据，满足该模型的数据成为内点，反之为外点（通常为噪声、错误测量或不正确的点），迭代执行，直到某一个参数模型得到的内点数最大、则该模型为最优模型。考虑如下假设：

1. 参数可以从N个数据项中估计。
2. 可用的数据项总共是M。
3. 随机选择的数据项成为好模型的一部分的概率为。
4. 如果存在一个很好的拟合，那么算法在没有找到一个很好的拟合的情况下退出的概率是。

RANSAC步骤：

1. 随机选取N个数据（3个点对）
2. 估计参数x（计算变换矩阵H）
3. 根于使用者设定的阈值，找到M中合适该模型向量x的的数据对总数量K（ 计算每个匹配点经过变换矩阵后到对应匹配点的距离，根据预先设定的阈值将匹配点集合分为内点和外点，如果内点足够多，则H足够合理，用所有内点重新估计H）。
4. 如果符合的数量K足够大，则接受该模型并退出
5. 重复1-4步骤 L次
6. 到这一步退出

K有多大取决于我们认为属于合适结构的数据的百分比以及图像中有多少结构，如果有多个结构，则在成功拟合后，删除拟合数据并重做RANSAC。

迭代次数L可由如下公式计算：

优点：可以Robust（鲁棒的）估计模型参数

缺点：迭代次数无上限，设置的迭代次数会影响算法时间复杂度和精确程度，并且需要预设阈值

在执行RANSAC之后，我们只能在图像中看到正确的匹配，因为RANSAC找到了一个与大多数点相关的单应矩阵，并将不正确的匹配作为异常值丢弃。

单应矩阵（Homography）：有了两组相关点，接下来就要建立两组点的转换关系，也就是图像变换关系。单应性是两个空间之间的映射，常用于表示同一场景的两个图像之间的对应关系，可以匹配大部分相关的特征点，并能实现图像投影，使一张图通过投影和另一张图实现大面积的重合。

用RANSAC方法估算H：

1. 首先检测两边图像的角点
2. 在角点之间应用方差归一化相关，收集相关性足够高的对，形成一组候选匹配。
3. 选择四个点，计算H
4. 选择与单应性一致的配对。如果对于某些阈值:Dist(Hp、q) <ε，则点对(p, q)被认为与单应性H一致
5. 重复34步，直到足够多的点对满足H
6. 使用所有满足条件的点对，通过公式重新计算H

三、图像变形：图像变形是指将其中一幅图像重投影，并将图像放置在更大的画布上

最后一步是将所有输入图像变形并融合到一个符合的输出图像中。基本上，我们可以简单地将所有的图像变形到一个平面上，这个平面名为符合全景平面。

图像变形步骤：

1. 首先计算每个输入图像的变形图像坐标范围，得到输出图像大小，可以很容易地通过映射每个源图像的四个角并且计算坐标(x,y)的最小值和最大值确定输出图像的大小。最后，需要计算指定参考图像原点相对于输出全景图的偏移量的偏移量xoffset和偏移量yoffset。
2. 下一步是使用上面所述的反向变形，将每个输入图像的像素映射到参考图像定义的平面上，分别执行点的正向变形和反向变形。

四、图像融合：通过改变边界附近的图像灰度级，去除这些缝隙，创建混合图像，从而在图像之间实现平滑过度。混合模式（Blend Modes）用于将两层融合到一起

平滑过渡（Transition Smoothing）图像融合方法包括羽化（feathering），金字塔（pyarmid），梯度（gradient）

在重叠区域融合像素颜色，以避免接缝。最简单的可用形式是使用羽化（feathering），它使用加权平均颜色值融合重叠的像素。我们通常使用alpha因子，通常称为alpha通道，它在中心像素处的值为1，在与边界像素线性递减后变为0。当输出拼接图像中至少有两幅重叠图像时，我们将使用如下的alpha值来计算其中一个像素处的颜色：假设两个图像 ,在输出图像中重叠；每个像素点在图像，其中（R,G,B）是像素的颜色值，我们将在缝合后的输出图像中计算(x, y)的像素值：

五、小结：

对一些常用算法进行了简单的概述。Harris角点检测方法具有鲁棒性和旋转不变性。然而，它是尺度变化的。FAST算法具有旋转不变性和尺度不变性，且具有较好的执行时间。但是当有噪声存在时，它的性能很差。SIFT算法具有旋转不变性和尺度不变性，并且在有噪声情况下更有效。它具有非常明显的特征。然而，它受到光照变化的影响，该算法在执行时间和光照不变性方面具有较好的性能。

六、其他

用的ORB算法：一种快速特征点提取和描述的算法，分为特征点提取和特征点描述两部分。特征提取是由FAST（Features from Accelerated Segment Test）算法发展来的，特征点描述是根据BRIEF（Binary Robust IndependentElementary Features）特征描述算法改进的。ORB特征是将FAST特征点的检测方法与BRIEF特征描述子结合起来，并在它们原来的基础上做了改进与优化。据说，ORB算法的速度是sift的100倍，是surf的10倍。

1. FAST 角点提取：找出图像中的“角点”。相较于原始的 FAST，ORB 中计算了特征点的主方向，为BRIEF 描述子增加了旋转不变特性。
2. BRIEF 描述子的计算：对前一步提取出特征点的周围图像区域进行描述。ORB 对 BRIEF 进行了改进，主要是在 BRIEF 中使用了先前计算的方向信息。

对于特征点提取来说：FAST 角点便具有了尺度与旋转的描述，从而大大提升了其在不同图像之间表述的鲁棒性。所以在 ORB 中，把这种改进后的 FAST 称为 Oriented FAST。

对于特征点描述： 在提取 Oriented FAST 关键点后，对每个点计算其描述子，ORB 使用改进的BRIEF特征描述。BRIEF 是一种二进制描述子，其描述向量由许多个 0 和 1 组成，这里的 0 和 1 编码了关键点附近两个随机像素（比如p和q）的大小关系：如果 p 比 q 大，则取 1，反之就取 0。如果我们取了 128个这样的 p, q，最后就得到 128 维由 0、1 组成的向量。关于一对随机点的选择方法，ORB论文原作者测试了以下5种方法，发现方法（2）比较好：

N=256时的结果（一条线段的两端是一对点）：

原始的 BRIEF 描述子不具有旋转不变性，因此在图像发生旋转时容易丢失。而 ORB 在 FAST 特征点提取阶段计算了关键点的方向，所以可以利用方向信息，计算了旋转之后的“Steer BRIEF”特征使 ORB 的描述子具有较好的旋转不变性。

七、代码测试

代码来自于：link
在跑代码时遇到如下问题：module 'cv2.cv2' has no attribute 'xfeatures2d'或者cv2.cv2有其他内容缺少，原因就是版本原因(专利保护问题)，解决办法也很简单，不需要什么花里胡哨的操作
运行如下代码即可：

pip install opencv-python == 3.4.2.16
pip install opencv-contrib-python == 3.4.2.16

main函数主要分为两部分Matcher和Sticher

python main.py Image-stitcher-master/example/19-left.JPG /Image-stitcher-master/example/19-right.JPG
'''
Matcher用作图像的内容识别
1、构造函数Matcher：此类用于输入两幅图像，计算其特征值，输入图像为'numpy'数组格式的图像，其中'method'参数要求输入SURF、SIFI或者ORB，'threshold'参数为特征值检测所需的阈值。
2、特征值计算compute_keypoint：利用给出的特征值检测方法对图像进行特征值检测。
3、匹配match：对两幅图片计算得出的特征值进行匹配，对于ORB来说使用OpenCV的'BFMatcher'算法，而对于其他特征检测方法则使用'FlannBasedMatcher'算法。
'''
'''
Stricher用作图像的拼接
1、构造函数Stricher：输入图像和匹配，对图像进行拼接，目前采用简单矩阵匹配和平均值拼合。
2、拼合stich：对两幅图像进行拼合，采用透视变换矩阵，并利用平均值对图片进行无缝接合。
3、融合blend：目前采用简单平均方式。
'''
'''
辅助函数
1、平均值average：返回两幅图片的平均值
2、边界计算get_transformed_size：计算变形后的边界，从而对图片进行相应的位移，保证全部图像都出现在屏幕上。
3、坐标变换get_transformed_position：求得抹点在变换矩阵（self.M）下的新坐标，如有选参数'M'，则利用M进行坐标变换运算
'''

后续需要的话，会仔细看看代码
未完待续～