SIFT算法及相关匹配与应用（包括RANSAC）

最新推荐文章于 2024-05-29 21:36:40 发布
最新推荐文章于 2024-05-29 21:36:40 发布
阅读量3.3k 收藏 33
点赞数 7
文章标签： python 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/WeskerXR/article/details/104664562
版权

SIFT算法原理及SIFT于关键点匹配的应用

目录

SIFT算法简介

SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述，它是由David Lowe发明的。这种描述具有尺度不变性，可在图像中检测出关键点，是一种局部特征描述子。

SIFT算法特点

1.SIFT特征是图像的局部特征，其对旋转、尺度缩放、亮度变化保持不变性，对视角变化、仿射变换、噪声也保持一定程度的稳定性；

2.区分性好，信息量丰富，适用于在海量特征数据库中进行快速、准确的匹配；

3.多量性，即使少数的几个物体也可以产生大量的SIFT特征向量；

4.高速性，经优化的SIFT匹配算法甚至可以达到实时的要求；

5.可扩展性，可以很方便的与其他形式的特征向量进行联合。

SIFT算法可解决的问题

目标的旋转、缩放、平移（RST）
图像仿射/投影变换（视点viewpoint）
弱光照影响（illumination）
部分目标遮挡（occlusion）
杂物场景（clutter）
噪声

SIFT算法实现特征匹配三个流程

1、提取关键点

2、对关键点附加详细的信息（局部特征），即描述符

3、通过特征点（附带上特征向量的关键点）的两两比较找出相互匹配的若干对特征点，建立景物间的对应关系

SIFT算法的实质可以归为在不同尺度空间上查找特征点（关键点）的问题
在这里插入图片描述

基于python2.7的Vlfeat环境配置

在实现SIFT算法之前，我们需要对操作端进行VLfeat的安装，这样才能在上面运行代码。
1、在Vlfeat官网下载需要的安装包
在这里插入图片描述
2、解压到自己的anaconda安装路径下，找到Lib\site-packages\PCV\localdescriptors里面的sift.py文件，使用记事本打开。
3、将里面的cmmd路径修改为解压后的vlfeat路径下的sift.exe位置，即可完成安装。
在这里插入图片描述

SIFT算法检测感兴趣点与描述子匹配

检测感兴趣点

为了计算图像的SIFT特征，我们用开源工具包VLFeat来辅助检测。下面为sift与Harris对比的源代码。

# -*- coding: utf-8 -*-
from PIL import Image
from pylab import *
from PCV.localdescriptors import sift
from PCV.localdescriptors import harris

# 添加中文字体支持
from matplotlib.font_manager import FontProperties
font = FontProperties(fname=r"c:\windows\fonts\SimSun.ttc", size=14)

imname = '../data/empire.jpg'
sift.process_image(imname, 'empire.sift')
l1, d1 = sift.read_features_from_file('empire.sift')

figure()
gray()
subplot(131)
sift.plot_features(im, l1, circle=False)
title(u'SIFT特征',fontproperties=font)
subplot(132)
sift.plot_features(im, l1, circle=True)
title(u'用圆圈表示SIFT特征尺度',fontproperties=font)

# 检测harris角点
harrisim = harris.compute_harris_response(im)

subplot(133)
filtered_coords = harris.get_harris_points(harrisim, 6, 0.1)
imshow(im)
plot([p[1] for p in filtered_coords], [p[0] for p in filtered_coords], '*')
axis('off')
title(u'Harris角点',fontproperties=font)

show()

效果图如下所示：
在这里插入图片描述
为了将sift和Harris角点进行比较，将Harris角点检测的显示在了图像的最后侧。正如你所看到的，这两种算法选择了不同的坐标。

通过实拍的8张小场景数据集，给定图片，计算每张图片的SIFT特征值并提取，并展示特征点：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
剩下几张不再赘述。。。。。

描述子匹配

此例展示使用Sift算法进行描述子匹配，使用的是生活中的对相同场景的不同采景。源代码如下所示。

from PIL import Image
from pylab import *
import sys
from PCV.localdescriptors import sift


if len(sys.argv) >= 3:
  im1f, im2f = sys.argv[1], sys.argv[2]
else:
#  im1f = '../data/sf_view1.jpg'
#  im2f = '../data/sf_view2.jpg'
  im1f = '../data/crans_1_small.jpg'
  im2f = '../data/crans_2_small.jpg'
#  im1f = '../data/climbing_1_small.jpg'
#  im2f = '../data/climbing_2_small.jpg'
im1 = array(Image.open(im1f))
im2 = array(Image.open(im2f))

sift.process_image(im1f, 'out_sift_1.txt')
figure()
gray()
subplot(121)
sift.plot_features(im1, l1, circle=False)

sift.process_image(im2f, 'out_sift_2.txt')
l2, d2 = sift.read_features_from_file('out_sift_2.txt')
subplot(122)
sift.plot_features(im2, l2, circle=False)

#matches = sift.match(d1, d2)
matches = sift.match_twosided(d1, d2)
print '{} matches'.format(len(matches.nonzero()[0]))

figure()
gray()
sift.plot_matches(im1, im2, l1, l2, matches, show_below=True)
show()

通过实拍的8张小场景数据集，给定两张图片，计算其SIFT特征匹配结果：
在这里插入图片描述
可得以下几组对比图：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
由于图片过多这里不再一一列出，但是从图中还是可以发现虽然大致匹配正确，但是依旧有一部分没能完全匹配。同时限于电脑配置，无法运行大型图片。

关键点检测的相关概念

哪些点是SIFT中要查找的关键点（特征点）

这些点是一些十分突出的点不会因光照、尺度、旋转等因素的改变而消失，比如角点、边缘点、暗区域的亮点以及亮区域的暗点。既然两幅图像中有相同的景物，那么使用某种方法分别提取各自的稳定点，这些点之间会有相互对应的匹配点。

根据归纳，我们可以看出SIFT特征点希望选出具有下述不变性的点：
尺度、方向、位移、光照

什么是尺度空间（scale space ）

尺度空间理论最早于1962年提出，其主要思想是通过对原始图像进行尺度变换，获得图像多尺度下的空间表示。从而实现边缘、角点检测和不同分辨率上的特征提取，以
满足特征点的尺度不变性。
关键点检测的相关概念尺度空间中各尺度图像的模糊程度逐渐变大，能够模拟人在距离目标由近到远时目标在视网膜上的形成过程。尺度越大图像越模糊。
在这里插入图片描述
高斯核是唯一可以产生 多尺度空间的核，一个图像的尺度空间，L(x, y, σ) ,定义为原始图像 I(x, y)与一个可变尺度的2维高斯函数G(x, y, σ) 卷积运算。
在这里插入图片描述

高斯模糊

高斯模糊是在Adobe Photoshop等图像处理软件中广泛使用的处理效果，通常用它来减小图像噪声以及降低细节层次。这种模糊技术生成的图像的视觉效果是好像经过一个半透明的屏幕观察图像。
在这里插入图片描述

高斯金字塔

高斯金子塔的构建过程可分为两步：
（1）对图像做高斯平滑；
（2）对图像做降采样。
为了让尺度体现其连续性，在简单下采样的基础上加上了高斯滤波。一幅图像可以产生几组（octave）图像，一组图像包括几层（interval）图像。
在这里插入图片描述
高斯图像金字塔共o组、s层，则有：
关键点检测的相关概念
在这里插入图片描述
σ——尺度空间坐标；
s——sub-level层坐标；
σ0——初始尺度；
S——每组层数（一般为3~5）
最后可将组内和组间尺度归为：
在这里插入图片描述

关键点检测——DOG

DoG（Difference of Gaussian）函数
在这里插入图片描述
DoG在计算上只需相邻高斯平滑后图像相减，因此简化了计算！

DoG高斯差分金字塔

对应DOG算子，需构建DOG金字塔可以通过高斯差分图像看出图像上的像素值变化情况。（如果没有变化，也就没有特征。特征必须是变化尽可能多的点。）DOG图像描绘的是目标的轮廓。
在这里插入图片描述

DOG局部极值检测

DoG的局部极值点

特征点是由DOG空间的局部极值点组成的。为了寻找DoG函数的极值点，每一个像素点要和它所有的相邻点比较，看其是否比它的图像域和尺度域的相邻点大或者小。
在这里插入图片描述
中间的检测点和它同尺度的8个相邻点和上下相邻尺度对应的9×2个点共26个点比较，以确保在尺度空间和二维图像空间都检测到极值点。

去除边缘响应

由于DoG函数在图像边缘有较强的边缘响应，因此需要排除边缘响应。DoG函数的峰值点在边缘方向有较大的主曲率，而在垂直边缘的方向有较小的主曲率。主曲率可以通过计算在该点位置尺度的2×2的Hessian矩阵得到，导数由采样点相邻差来估计：
在这里插入图片描述
Dxx 表示DOG金字塔中某一尺度的图像x方向求导两次
D的主曲率和H的特征值成正比。令 α ，β为特征值，则
在这里插入图片描述

最低0.47元/天 解锁文章
Weskerrr
关注
  • 7
    点赞
  • 踩
  • 33
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
学习笔记 2.2— SIFT特征匹配详细原理+Python实现【含实例】
Yebin的博客
03-20 1万+
一. SIFT原理（尺度不变特征变换） SIFT，即尺度不变特征变换（Scale-invariant feature transform，SIFT），是用于图像处理领域的一种描述。这种描述具有尺度不变性，它对物体的尺度变化，刚体变换，光照强度和遮挡都具有较好的稳定性，可在图像中检测出关键点，是一种局部特征描述子。SIFT 算法被认为是图像匹配效果好的方法之 一算法实现特征匹配主要有三个流程： ①特...
基于SIFT的图像Matlab拼接教程
晚来天欲雪，能饮一杯无？
02-02 6428
基于SIFT的图像Matlab拼接教程
【图像拼接】基于SIFT描述符和RANSAC算法实现多图图像拼接系统Matlab代码
最新发布
m0_57702748的博客
05-29 1134
​图像拼接是指将多幅图像拼接成一张全景图像，它在计算机视觉领域有着广泛的应用，例如全景照片拍摄、虚拟现实、医学图像处理等。图像拼接的实现需要解决两个关键问题：特征匹配和图像配准。特征匹配是指在不同图像中找到相同的特征点，而图像配准则是将不同图像中的对应点进行对齐。本文将介绍一种基于SIFT描述符和RANSAC算法实现多图图像拼接系统的方案。一、SIFT 描述符。
数据结构3.2/*2编写程序，读入一个字符串，其中包含{}、[]、()三种括号，检查该字符串中的括号是否正确匹配。 提示： 依次读入每个字符。（1）若遇到左括号，压栈。
qq_46073162的博客
11-05 2648
/*2编写程序，读入一个字符串，其中包含{}、[]、()三种括号，检查该字符串中的括号是否正确匹配。 提示： 依次读入每个字符。（1）若遇到左括号，压栈。 （2）若遇到右括号，检查栈顶的左括号：若与右括号匹配，则弹出栈顶左括号； 若不匹配，说明匹配错误；若栈中无内容，说明匹配错误。 （3）若遇到其他符号，忽略之。 （4）若字符串已读完，此时栈中仍有内容，说明匹配错误。*/ #include<stdio.h> #include<stdlib.h> #include<time.h
基于SIFT特征提取的图像拼接算法matlab仿真
FPGA/MATLAB学习教程/源码/项目合作开发
09-27 2557
SIFT(Scale invariant feature transform)，即尺度不变特征变换描述子，其可以从图像中提取稳定的特征数据，其对图像的旋转、阴影干扰、噪声干扰、移动以及空间扭曲等影响有着较好的不变性。基于SIFT的图像特征提取原理如下：步骤一、图像转换到尺度空间。图像的尺度空间表示方式通常情况下是将图像和高斯核函数进行卷积计算，其计算公式如下：步骤二、尺度空间极值点的计算。
Matlab实现SIFT+RANSAC特征检测与图像融合
Polaris的博客
11-19 1万+
一、SIFT特征检测 尺度不变特征转换(Scale-invariant Feature Transform or SIFT)是一种计算机视觉的算法，用来侦测与描述影像中的局部性特征。该算法在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，此算法由David Lowe在1999年所发表，2004年完善总结。SIFT算法具有较好的稳定性和不变性，能够适应旋转、尺度缩放、亮度的变化，能在一定程度上不受视角变化、仿射变换、噪声的干扰。 SIFT算法的大致步骤如下： 建立尺度空间，即建立高斯差分(DoG)金
利用GPU加速的SIFT算法，实现影像匹配，并利用RANSAC进行粗差的剔除
04-30
利用GPU加速的SIFT算法，实现影像匹配，并利用RANSAC进行粗差的剔除(GPU-accelerated use SIFT algorithm to achieve image matching, and use RANSAC removing coarse poor)
Matlab实现SIFT+RANSAC图像拼接与融合
02-26
1. **特征检测与匹配**：这部分代码会使用SIFT算法检测每张图像的特征，并尝试将这些特征匹配到其他图像上。 2. **RANSAC筛选**：通过RANSAC算法剔除匹配中的不匹配点，以提高变换的准确性。 3. **几何变换**：根据...
Qt_RobHess_SIFT.rar_RobHess_ransac sift_sift_sift ransac_sift匹配
09-14
《Qt_RobHess_SIFT：RANSAC在SIFT匹配中的应用》 在计算机视觉领域，特征检测和描述子的使用是图像处理的核心部分。其中，尺度不变特征变换（Scale-Invariant Feature Transform，简称SIFT）由David Lowe在1999年...
ransac_RANSAC_RANSAC匹配_sift+ransac_sift_特征点优化_
09-29
在实际应用中，"sift+ransac"策略结合了SIFT特征的稳定性与RANSAC的鲁棒性，极大地提高了图像匹配和拼接的精度。特征点优化不仅仅是去除误匹配，还包括特征点的定位精确度提高、匹配稳定性增强等方面，这对于实现高...
SIFT_VS.zip_SIFT算法VS实现_sift匹配
09-21
SIFT算法因其对尺度、旋转和光照变化的鲁棒性，以及在图像匹配中的优异性能，被广泛应用于图像识别、物体检测、3D重建等多个场景。 SIFT算法主要包括四个主要步骤： 1. **尺度空间极值检测**：SIFT首先通过高斯差...
sift算法详解及应用(特别详细版)
01-26
1. SIFT简介 2. SIFT算法实现细节 3. SIFT算法的应用领域 4. SIFT算法的扩展与改进
基于sift算法的图像配准、Homograph Matrix、RANSAC
诺有缸的高飞鸟的博客
05-14 4334
目录写在前面本文配准结果图像配准特征点提取及匹配特征检测特征匹配参考完 写在前面 正在写… 1、文中所有资源、参考已给出来源链接，如有侵权请联系删除 2、码字不易，转载本文请注明出处，本文链接：https://blog.csdn.net/qq_41102371/article/ 3、本文实验环境：win10+vs2019+opencv440[4] 下载地址：share_noel/提取码：0ooc 本文配准结果 图像配准 图像配准(Image registration)就是将不同时间、不同传感器（成像设备）或
利用RANSAC算法筛选SIFT特征匹配
热门推荐
Why So Serious?
06-21 6万+
关于RANSAC算法的基本思想，可从网上搜索找到，这里只是RANSAC用于SIFT特征匹配筛选时的一些说明。 RANSAC算法在SIFT特征筛选中的主要流程是： (1) 从样本集中随机抽选一个RANSAC样本，即4个匹配点对 (2) 根据这4个匹配点对计算变换矩阵M (3) 根据样本集，变换矩阵M，和误差度量函数计算满足当前变换矩阵的一致集consensus，并返回一致集中元素个数 (4
转：图像匹配之：经典sift算法（一）
燕子lovinglife
07-17 1767
sift是图像匹配的非常经典的算法，但是很复杂，要想自己拿C或C++实现很麻烦，如果只是使用的话，有国外某高人维护的sift库，前期只要自己能够调用即可，关键是要熟悉大致的流程，对sift库有个了解，具体的工作只要调用其中的函数即可。匹配效果： sift是图像匹配的非常经典的算法，但是很复杂，要想自己拿C或C++实现很麻烦，如果只是使用的话，有国外某高人维护的sift库，前期只要
图像特征检测—SIFT算法应用（Python）
sinat_37751993的博客
03-16 6140
目录 一：SIFT算法的特征原理描述 1.尺度空间的搭建 ​2. DOG局部极值检测 3. 对上一过程中得出的候选极值点进行筛选，去除边缘响应点，得到真正的特征点 4. 特征点方向匹配 5.关键特征点的描述 6. 通过特征点的两两比较，找出相互匹配的若干个特征点，建立对应的关系 二：分别运用SIFT和Harris算法，实现图像的特征提取 三：对两张图片进行SIFT特征匹配...
SIFT详细解析
AAAA202012的博客
01-30 1521
尺度不变特征变换匹配算法详解Scale Invariant Feature Transform(SIFT)Just For Fun zdd  zddmail@gmail.com or (zddhub@gmail.com) 对于初学者，从David G.Lowe的论文到实现，有许多鸿沟，本文帮你跨越。 如果你学习SIF...
经典的图像匹配算法----SIFT
tigerlib的博客
03-23 3363
一. SIFT简介 1.1 算法提出的背景： 成像匹配的核心问题是将同一目标在不同时间、不同分辨率、不同光照、不同位姿情况下所成的像相对应。传统的匹配算法往往是直接提取角点或边缘，对环境的适应能力较差，急需提出一种鲁棒性强、能够适应不同光照、不同位姿等情况下能够有效识别目标的方法。1999年British Columbia大学大卫.劳伊（ David G.Lowe）教授总结了现有的基于不变量技术的特征检测方法，并正式提出了一种基于尺度空间的、对图像缩放、旋转甚至仿射变换保持不变性的图像局部特征描述算子－S.
SIFT特征及特征匹配：SIFT and feature matching
GarfieldEr007的专栏
12-26 2940
Chapter 5. SIFT and feature matching In this tutorial we’ll look at how to compare images to each other. Specifically, we’ll use a popular local feature descriptor called SIFT to extract someinte
sift算法与ransac算法
04-06
SIFT（Scale-Invariant Feature Transform）算法和RANSAC（Random Sample Consensus）算法是计算机视觉中常用的两种算法。 SIFT算法是一种用于图像特征提取的算法，它可以在不同的尺度下检测到图像中的关键点，并提取出与这些关键点相关的特征描述子。SIFT算法的特点是具有尺度不变性和旋转不变性，因此可以在不同的角度和尺度下识别同一物体的不同视角。 RANSAC算法是一种用于估计参数的算法，它可以从一组数据中估计出符合某种模型的参数。RANSAC算法的特点是可以对含有噪声和异常值的数据进行鲁棒性估计，即可以过滤掉那些与模型不符的数据，从而得到更准确的参数估计结果。 在计算机视觉中，SIFT算法和RANSAC算法通常配合使用，例如在目标跟踪、图像匹配和三维重建等应用中。SIFT算法可以提取出关键点和特征描述子，而RANSAC算法可以通过这些特征点来估计出物体的位置、姿态和形状等参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值