计算机视觉—opencv图像拼接

一、图像拼接

1、图像拼接技术

图像拼接技术就是将数张有重叠部分的图像（可能是不同时间、不同视角或者不同传感器获得的）拼成一幅无缝的全景图或高分辨率图像的技术。
在医学成像、计算机视觉、卫星数据、军事目标自动识别等领域具有重要意义。

2、图像拼接算法分类

图像拼接目前有很多算法，图像拼接的质量，主要依赖于图像的配准程度，因此通过不同的图像匹配方式将算法分为以下两种：

1. 基于区域相关拼接算法
   该算法比较传统和普遍，从待拼接图像的灰度值出发，对待配准图像中一块区域与参考图像中的相同尺寸的区域使用最小二乘法或者其它数学方法计算其灰度值的差异（1.通过累加各点灰度的差值，2.计算两块区域的对应像素点灰度值的相关系数，相关系数越大，则两块图像的匹配程度越高，3.两者中计算相关系数的效果更好）。对此差异比较后来判断待拼接图像重叠区域的相似程度，由此得到待拼接图像重叠区域的范围和位置，从而实现图像拼接。
   也可以通过FFT 变换将图像由时域变换到频域，然后再进行配准。对位移量比较大的图像，可以先校正图像的旋转，然后建立两幅图像之间的映射关系。
2. 基于特征相关拼接算法
   于特征的配准方法不是直接利用图像的像素值，而是通过像素导出图像的特征，然后以图像特征为标准，对图像重叠部分的对应特征区域进行搜索匹配，该类拼接算法有比较高的健壮性和鲁棒性。
   在两幅图像对应的特征集中利用特征匹配算法尽可能地将存在对应关系的特征对选择出来。一系列的图像分割技术都被用到特征的抽取和边界检测上。

二、图像拼接基本步骤

1、基本流程

1. 根据给定图像/集，实现特征匹配
2. 通过匹配特征计算图像之间的变换结构
3. 利用图像变换结构，实现图像映射
4. 针对叠加后的图像，采用APAP之类的算法， 对齐特征点
5. 通过图割方法，自动选取拼接缝
6. 根据multi-band bleing策略实现融合

三、图像拼接原理

1、特征匹配

特征是要匹配的两个输入图像中的元素，为了给图像提供更好的特征匹配，采用角点匹配，进行定量测量。在视点变化时，角点特征是稳定的。角点检测算法有Harris角点检测算法、SIFT特征点检测算法、FAST角点检测算法、SURF特征点检测算法。
本次实验使用的Opencv stitch源码中默认第一选择是SURF特征点检测，第二是ORB特征点检测。
SURF（Speeded Up Robust Features）改进了特征的提取和描述方式，用一种更为高效的方式完成特征的提取和描述。它是SIFT的高效变种，也是提取尺度不变特征，算法步骤与SIFT算法大致相同，但采用的方法不一样，SURF算法要比SIFT算法更高效。

2、计算图像之间的变换结构

SIFT算法：变换过程在上一篇博客有详细介绍。
SURF算法：

1. SURF使用Hessian矩阵来检测特征点，该矩阵是x,y方向的二阶导数矩阵，可测量一个函数的局部曲率，其行列式值代表像素点周围的变化量，特征点需取行列式值的极值点。
2. 特征点定位：通过特征点邻近信息插补来定位特征点。
3. 方向定位：通过计算特征点周围像素点x,y方向的哈尔小波变换，并将x,y方向的变换值在xy平面某一角度区间内相加组成一个向量，在所有的向量当中最长的(即x、y分量最大的)即为此特征点的方向。
4. 特征描述子：选定了特征点的方向后，其周围相素点需要以此方向为基准来建立描述子。此时以$5\ast <$