图像配准，特征点提取与匹配

图像配准

本文为原创文章，转载请注明出处**

目录

一、图像配准概述
二、图像匹配算法
SIFT
SURF
ORB
暴力匹配
FLANN
深度学习（superpoint）
三、各算法对比
四、图像配准在SLAM中的应用

图像配准概述

匹配：指寻找两幅影像中相似的部分(基于特征点或灰度等)，从而找到与搜索图像相似的图像
配准：将不同时间、不同传感器(成像设备)或不同条件下(天候、照度、摄像位置和角度等)获取的两幅或多幅图像进行匹配、叠加的过程

特征点

特征点：图像当中具有代表性的部分
可重复性：相同的区域可在不同的图像中被找到。
可区别性：不同的区域有不同表达。
高效率：同一图像中，特征点的数量应远小于像素的数量。
本地性：特征仅与一小片图像区域有关

特征点信息：
位置、大小、方向、评分等------关键点
特征点周围图像的信息------描述子

特征描述应该在光照、视角发生少量变化时仍能保持一致

基于特征点配准的优缺点

■ 提取待配准图像中的点、线、边缘等特征信息，不需要其它辅助信息，在减少计算量、提高效率的同时，能够对图像灰度的变化有一定的鲁棒性
■ 只采用了图像一小部分的特征信息，所以这种算法对特征提取和特征匹配的精度及准确性要求非常高，对错误非常敏感
■ 特征点所包含的信息相对较少，只能反映出其在图像中的位置坐标信息，所以在两幅图像中寻找匹配的特征点是关键所在

基于特征图像的配准流程

1.首先对两幅图像进行特征提取得到特征点；
2.通过进行相似性度量找到匹配的特征点对；
3.然后通过匹配的特征点对得到图像空间坐标变换参数；
4.最后由坐标变换参数进行图像配准。

高斯金字塔与尺度空间

■ 高斯核是唯一的线性核，对图像模糊不会引入其他噪声
■ 对每层最模糊的一幅图像继续下采样，继续高斯模糊处理
■ 上采样（分辨率逐级升高）和下采样（分辨率逐级降低）
■ 尺度空间（O,S）
– O—octave
– S-层
– （o，s）能够确定高斯金字塔中的唯一一幅图像δ

其中δ为尺度大小，k的几次幂为每个八度（octave）的第几个模糊层

尺度空间图例

差分高斯金字塔

同一个八度的相邻两模糊层做差得到差分高斯金字塔

特征点检测与描述------SIFT

在不同的尺度空间上查找关键点（特征点），计算关键点的大小、方向、尺度信息，利用这些信息组成关键点对特征点进行描述
具体步骤：
■ 1. 生成高斯差分金字塔（DOG金字塔），尺度空间构建
■ 2. 空间极值点检测 （在高斯金字塔中搜索对尺度和旋转不变的特征点）
■ 3. 稳定关键点的精确定位 （离散空间用曲线拟合寻找极值点）
■ 4. 稳定关键点方向信息分配 （图像局部的梯度方向）
■ 5. 关键点描述 （将得到的特征点位置、方向、尺度信息，使用一组向量来描述特征点及其周围邻域像素的信息）
■ 6. 特征点匹配

优缺点

■ 1. 对旋转、尺度缩放、亮度变化保持不变性，对视角变化、噪声等也存在一定程度的稳定性；
■ 2. 独特性，信息量丰富，适用于在海量特征数据中进行快速，准确的匹配；
■ 3. 多量性，即使少数几个物体也可以产生大量的Sift特征向量；
■ 4. 可扩展性，可以很方便的与其他形式的特征向量进行联合；

SIFT结合FLANN

特征点检测–SURF

■ 1. 用Hessian矩阵构造高斯金字塔尺度空间构建
（高斯滤波后进行矩阵计算构建金字塔）
■ 2. 非极大值抑制初步确定特征点
■ 3. 稳定关键点的精确定位 （连续空间到离散空间）
■ 4. 选取主方向 （统计特征点邻域内的harr小波特征）
■ 5. 关键点描述
16*4=64维
■ 6. 特征点匹配

通过LOWE的论文可知，SIFT和SURF的速度相差一个数量级
原因
1.描述子的维度不同
SIFT是取1616的邻域分成44的块区域，每块统计八个方向梯度，所以为478=128维

SURF是分成16块，每块统计25个点4个方向的小波特征，所以为16*4=64维

2.SIFT是固定高斯核，改变图像尺寸； SURF固定尺寸，改变高斯核，所以SURF可以通过同一尺寸的图像与多个高斯核卷积并行处理

特征检测–SURF效果图

特征描述与匹配------SURF效果图

上述图片存在误匹配点，可以使用LM算法进行优化同时采用RANSAC算法筛选出内点

特征检测------ORB

ORB特征
关键点：oriented FAST
描述： BRIEF

FAST:连续N个点的灰度有明显差异
若某像素与其周围邻域内足够多的像素点相差较大，则该像素可能是角点
如下面介绍FAST-10（连续十个点超过阈值）算法步骤

算法步骤：
上图所示，
1.一个以像素p为中心，半径为3的圆上，有16个像素点（p1、p2、…、p16）。

2、定义一个阈值。计算p1、p9、p5、p13与中心p的像素差，若它们的绝对值有至少3个超过阈值，则当做候选角点，再进行下一步考察；否则，不可能是角点；

3、若p是候选点，则计算p1到p16这16个点与中心p的像素差，若它们有至少连续10（所以为FAST-10）个超过阈值，则是角点；否则，不可能是角点。

4、对图像进行非极大值抑制：计算特征点出的FAST得分值（即score值，也即s值），判断以特征点p为中心的一个邻域（如3x3或5x5）内，计算若有多个特征点，则判断每个特征点的s值（16个点与中心差值的绝对值总和），若p是邻域所有特征点中响应值最大的，则保留；否则，抑制。若邻域内只有一个特征点（角点），则保留。得分计算公式如下（公式中用V表示得分，t表示阈值）：

FAST算法实现起来简单，尤其是以速度快著称。

oriented Fast：在FAST基础上计算旋转

Brief(binary robust independent elementary features)描述子:
在特征点附近随机选取若干点对，将所选取的点的灰度值组成一个二进制串作为特征点描述子，用汉明距离度量

速度快，但是不具备旋转不变性和尺度不变性，对噪声敏感

特征检测–ORB

图像匹配------暴力匹配和FLANN匹配器

图像匹配：通过描述子的差异判断哪些特征为同一点
暴力匹配：比较图A的每个特征的与图B的所有特征点的距离，相当于轮询
加速：快速最近邻（FLANN）

对大数据集和高维特征进行最近邻搜索的算法的集合，如k近邻算法等

暴力匹配

FLANN特征点匹配

用快速近邻方法找到特征点匹配对，速度快，如图中找到了22对匹配的特征点

SURF和ORB的对比

SURF：用时0.6938s，用RANSAC算法和LM算法优化筛选出的匹配点对为243对

ORB：用时0.1184s，用RANSAC算法和LM算法优化筛选出的匹配点对为80对

正如论文中所提到的，ORB比SURF快一个数量级，SURF比SIFT快一个数量级

Self-Supervised Interest Point Detection and Description（基于深度学习）

■ 描述符具有优良特性，在定位场景下，可以对季节和环境光照具有更强的鲁棒性
■ 虽然深度学习目前还不能很好的支持SLAM中的几何计算和位姿估计，但是在特征点跟踪和匹配上可以做得很好

SLAM中的图像配准

实时性必须强，速度必须要快，可以在质量和速度之间折中

■ SIFT,SURF等特征提取方法具有较好的并行性，可通过GPU等设备加速运算，如加速后的SIFT就满足实时性的要求。
■ 在目前的SLAM方案中，ORB是质量与性能之间较好的折中
■ ORB在平移、旋转、缩放的变换下仍具有较好的表现
■ FAST和BRIEF的组合非常高效
■ 匹配的时候采用快速近似最近邻