【图像拼接】SIFT特征匹配+RANSAC滤除离群点图像拼接【含Matlab源码 3762期】

最新推荐文章于 2024-05-30 08:14:12 发布

Matlab领域

最新推荐文章于 2024-05-30 08:14:12 发布

阅读量1k

点赞数 24

分类专栏： Matlab图像处理（高阶版）文章标签： matlab

本文链接：https://blog.csdn.net/weixin_63266434/article/details/135540160

版权

Matlab图像处理（高阶版）专栏收录该内容

251 篇文章 13 订阅

订阅专栏

在这里插入图片描述
✅博主简介：热爱科研的Matlab仿真开发者，修心和技术同步精进，Matlab项目合作可私信。
🍎个人主页：海神之光
🏆代码获取方式：
海神之光Matlab王者学习之路—代码获取方式
⛳️座右铭：行百里者，半于九十。

⛄一、SIFT+RANSAC图像拼接与融合简介

1 SIFT
SIFT即尺度不变特征变换，是用于图像处理领域的一种描述。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。
1 SIFT算法特点：
（1）具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。
（2）区分性好，能够在海量特征数据库中进行快速准确的区分信息进行匹配
（3）多量性，就算只有单个物体，也能产生大量特征向量
（4）高速性，能够快速的进行特征向量匹配
（5）可扩展性，能够与其它形式的特征向量进行联合

2 SIFT算法实质
在不同的尺度空间上查找关键点，并计算出关键点的方向。
在这里插入图片描述
3 SIFT算法实现特征匹配主要有以下三个流程：
（1）提取关键点：关键点是一些十分突出的不会因光照、尺度、旋转等因素而消失的点，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。此步骤是搜索所有尺度空间上的图像位置。通过高斯微分函数来识别潜在的具有尺度和旋转不变的兴趣点。
（2）定位关键点并确定特征方向：在每个候选的位置上，通过一个拟合精细的模型来确定位置和尺度。关键点的选择依据于它们的稳定程度。然后基于图像局部的梯度方向，分配给每个关键点位置一个或多个方向。所有后面的对图像数据的操作都相对于关键点的方向、尺度和位置进行变换，从而提供对于这些变换的不变性。
（3）通过各关键点的特征向量，进行两两比较找出相互匹配的若干对特征点，建立景物间的对应关系。

4 尺度空间
（1）概念
尺度空间即试图在图像领域中模拟人眼观察物体的概念与方法。例如：观察一颗树，关键在于我们想要观察是树叶子还是整棵树：如果是一整棵树(相当于大尺度情况下观察)，那么就应该去除图像的细节部分。如果是树叶(小尺度情况下观察)，那么就该观察局部细节特征。
SIFT算法在构建尺度空间时候采取高斯核函数进行滤波，使原始图像保存最多的细节特征，经过高斯滤波后细节特征逐渐减少来模拟大尺度情况下的特征表示。
利用高斯核函数进行滤波的主要原因有两个：
a 高斯核函数是唯一的尺度不变核函数。
b DoG核函数可以近似为LoG函数，这样可以使特征提取更加简单。同时，David. Lowe作者在论文中提出将原始图像进行2倍上采样后滤波能够保留更多的信息便于后续特征提取与匹配。其实尺度空间图像生成就是当前图像与不同尺度核参数σ进行卷积运算后产生的图像。
（2）表示
L(x, y, σ) ,定义为原始图像 I(x, y)与一个可变尺度的2维高斯函数G(x, y, σ) 卷积运算。
在这里插入图片描述
5 高斯金字塔的构建
（1）概念
尺度空间在实现时使用高斯金字塔表示，高斯金字塔的构建分为两步：
a 对图像做高斯平滑；
b 对图像做降采样。

图像的金字塔模型是指将原始图像不断降阶采样，得到一系列大小不一的图像，由大到小，从下到上构成的塔状模型。原图像为金子塔的第一层，每次降采样所得到的新图像为金字塔的一层(每层一张图像)，每个金字塔共n层。为了让尺度体现其连续性，高斯金字塔在简单降采样的基础上加上了高斯滤波。如上图所示，将图像金字塔每层的一张图像使用不同参数做高斯模糊，Octave表示一幅图像可产生的图像组数，Interval表示一组图像包括的图像层数。另外，降采样时，高斯金字塔上一组图像的初始图像(底层图像)是由前一组图像的倒数第三张图像隔点采样得到的。
（2）表示
高斯图像金字塔共o组、s层，则有
在这里插入图片描述
6 DOG空间极值检测
（1）DOG函数

（2）DoG高斯差分金字塔
a 对应DOG算子，需构建DOG金字塔。
可以通过高斯差分图像看出图像上的像素值变化情况。（如果没有变化，也就没有特征。特征必须是变化尽可能多的点。）DOG图像描绘的是目标的轮廓。
在这里插入图片描述
b DOG局部极值检测
特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。如下图，中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。
在这里插入图片描述
b 去除边缘效应
在边缘梯度的方向上主曲率值比较大，而沿着边缘方向则主曲率值较小。候选特征点的DoG函数D(x)的主曲率与2×2Hessian矩阵H的特征值成正比。

7 关键点方向分配
（1）通过尺度不变性求极值点，需要利用图像的局部特征为给每一个关键点分配一个基准方向，使描述子对图像旋转具有不变性。对于在DOG金字塔中检测出的关键点，采集其所在高斯金字塔图像3σ邻域窗口内像素的梯度和方向分布特征。梯度的模值和方向如下：
在这里插入图片描述
（2）本算法采用梯度直方图统计法，统计以关键点为原点，一定区域内的图像像素点确定关键点方向。在完成关键点的梯度计算后，使用直方图统计邻域内像素的梯度和方向。梯度直方图将0~360度的方向范围分为36个柱，其中每柱10度。如下图所示，直方图的峰值方向代表了关键点的主方向，方向直方图的峰值则代表了该特征点处邻域梯度的方向，以直方图中最大值作为该关键点的主方向。为了增强匹配的鲁棒性，只保留峰值大于主方向峰值80％的方向作为该关键点的辅方向。
在这里插入图片描述
8 关键点描述
对于每一个关键点，都拥有位置、尺度以及方向三个信息。为每个关键点建立一个描述符，用一组向量将这个关键点描述出来，使其不随各种变化而改变，比如光照变化、视角变化等等。这个描述子不但包括关键点，也包含关键点周围对其有贡献的像素点，并且描述符应该有较高的独特性，以便于提高特征点正确匹配的概率。
在这里插入图片描述
Lowe实验结果表明：描述子采用4×4×8＝128维向量表征，综合效果最优（不变性与独特性）。

9 关键点匹配
（1）分别对模板图（参考图，reference image）和实时图（观测图，
observation image）建立关键点描述子集合。目标的识别是通过两点集内关键点描述子的比对来完成。具有128维的关键点描述子的相似性度量采用欧式距离。
（3）匹配可采取穷举法完成，但所花费的时间太多。所以一般采用kd树的数据结构来完成搜索。搜索的内容是以目标图像的关键点为基准，搜索与目标图像的特征点最邻近的原图像特征点和次邻近的原图像特征点。
Kd树如下如所示，是个平衡二叉树
在这里插入图片描述
10 总结
SIFT特征具有稳定性和不变性，在图像处理和计算机视觉领域有着很重要的作用，其本身也是非常复杂的，由于接触SIFT不是很久，对其中的相关知识了解还很不足，经多方查阅参考，写得此文，内容还不够详尽，望多多见谅。以下是SIFT算法的粗略总结。
（1）DoG尺度空间的极值检测。
（2）删除不稳定的极值点。
（3）确定特征点的主方向
（4）生成特征点的描述子进行关键点匹配。

11 SIFT+RANSAC图像拼接
SIFT+RANSAC图像拼接与融合是一种基于计算机视觉的图像处理技术，它可以将多张图像拼接成一张完整的图像。其中SIFT是一种用于图像特征提取的算法，而RANSAC则是一种用于模型拟合的算法。通过将SIFT和RANSAC结合起来，可以实现对多张图像进行特征提取和匹配，并通过模型拟合的方式将这些图像拼接成一张完整的图像。这种技术在计算机视觉、图像处理、机器人视觉等领域都有广泛的应用。

⛄二、部分源代码

clear;
close all;
%读取图片A和B
img1 = imread(‘A.png’);
img2 = imread(‘B.png’);

% 利用SIFT算法实现特征点检测、描述子提取
[des1, loc1, des2, loc2] = drawKeypoints(img1, img2);

% 计算符合粗筛选条件的特征匹配点对
[matchLoc1, matchLoc2] = siftMatch(des1, loc1, des2, loc2);

% 绘制由SIFT初步得到的粗特征匹配点连线
drawLine1(img1, img2, matchLoc1, matchLoc2);
title(‘匹配点(包括异常值)’);

% 利用RANSAC算法计算出去除离群点后的特征匹配点下标corrPtIdx，并计算出由图像B到图像A的单应矩阵
[H, corrPtIdx] = CalcH(matchLoc2’ ,matchLoc1’);

% 绘制由RANSAC最终得到的去除离群点后的特征匹配点连线
drawLine2(img1, img2, matchLoc1, matchLoc2, corrPtIdx)
title(‘匹配点(异常值除外)’)

% 计算出将B图像向A矩阵投影的正投影矩阵
tform = projective2d(H’);

% 利用正投影矩阵将B图向A图投影，使A图像和B图像在同一坐标系下，方便后续的拼接
img2_adjusted = imwarp(img2, tform);
fprintf(‘从B到A的单应矩阵为\n’);
disp(vpa(H,3));

% 进行图像的最终拼接与融合
final_img = mosaicFusion(img1, img2, img2_adjusted, H);

% 显示最终得到的图像
figure;
imshow(final_img);

⛄三、运行结果

在这里插入图片描述

⛄四、matlab版本及参考文献

1 matlab版本
2014a

2 参考文献
[1]左毅,陈勇,游华.一种基于小波变换的快速SIFT图像拼接算法[J].重庆师范大学学报(自然科学版). 2014,31(03)

3 备注
简介此部分摘自互联网，仅供参考，若侵权，联系删除

🍅 仿真咨询
1 各类智能优化算法改进及应用
生产调度、经济调度、装配线调度、充电优化、车间调度、发车优化、水库调度、三维装箱、物流选址、货位优化、公交排班优化、充电桩布局优化、车间布局优化、集装箱船配载优化、水泵组合优化、解医疗资源分配优化、设施布局优化、可视域基站和无人机选址优化

2 机器学习和深度学习方面
卷积神经网络（CNN）、LSTM、支持向量机（SVM）、最小二乘支持向量机（LSSVM）、极限学习机（ELM）、核极限学习机（KELM）、BP、RBF、宽度学习、DBN、RF、RBF、DELM、XGBOOST、TCN实现风电预测、光伏预测、电池寿命预测、辐射源识别、交通流预测、负荷预测、股价预测、PM2.5浓度预测、电池健康状态预测、水体光学参数反演、NLOS信号识别、地铁停车精准预测、变压器故障诊断

3 图像处理方面
图像识别、图像分割、图像检测、图像隐藏、图像配准、图像拼接、图像融合、图像增强、图像压缩感知

4 路径规划方面
旅行商问题（TSP）、车辆路径问题（VRP、MVRP、CVRP、VRPTW等）、无人机三维路径规划、无人机协同、无人机编队、机器人路径规划、栅格地图路径规划、多式联运运输问题、车辆协同无人机路径规划、天线线性阵列分布优化、车间布局优化

5 无人机应用方面
无人机路径规划、无人机控制、无人机编队、无人机协同、无人机任务分配

6 无线传感器定位及布局方面
传感器部署优化、通信协议优化、路由优化、目标定位优化、Dv-Hop定位优化、Leach协议优化、WSN覆盖优化、组播优化、RSSI定位优化

7 信号处理方面
信号识别、信号加密、信号去噪、信号增强、雷达信号处理、信号水印嵌入提取、肌电信号、脑电信号、信号配时优化

8 电力系统方面
微电网优化、无功优化、配电网重构、储能配置

9 元胞自动机方面
交通流人群疏散病毒扩散晶体生长

10 雷达方面
卡尔曼滤波跟踪、航迹关联、航迹融合