计算机视觉大型攻略 —— 特征与匹配（2）特征的变与不变

最新推荐文章于 2022-01-19 17:33:27 发布
最新推荐文章于 2022-01-19 17:33:27 发布
阅读量1.5k 收藏 15
点赞数 5
分类专栏： 特征与跟踪 文章标签： 特征匹配 Harris laplacian harris 尺度不变 Scale invariant
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/plateros/article/details/103181696
版权

上一篇文章写了Harris角点。这篇文章以Harris角点为基础，进一步分析角点特征。讨论特征不变性，或者说可重复性。

本文参考书籍：Computer Vision: Algorithms and Applications， Richard Szeliski 

所谓的变与不变，指的是同一特征，如果图像的光强发生了变化，或者对其进行仿射变换，该特征是否还能保持稳定(不变)。只有稳定(不变)的特征才能在不同的图像中对其做匹配。

参考文献

[1] Obstacle Avoidance and Navigation in the Real World by aSeeing Robot Rover

[2] A COMBINED CORNER AND EDGE DETECTOR

[3] Evaluation of Interest Point Detectors

[4] Indexing based on scale invariant interest points

[5] Distinctive Image Features from Scale-Invariant Keypoints

[6] Feature Detection with Automatic Scale Selection

常见图像变换

                             

特征检测和匹配算法需要特征满足至少两个特点：可区分性，可重复性。关于特征的可区分性，独特性在Harris角点一文中做了说明。这一章重点讨论特征的可重复性。以上图为例，左图与右图的光强发生了明显变化，右图跟角度有一定角度程度上的旋转。特征匹配算法要求在这种情况下，角点的位置仍然保持稳定，角点的特征仍然能够被检测到。

常见的图像变换包括仿射变换和光强变化。

光强变化

旋转平移

缩放

剪切

Harris角点特性

从Harris角点看图像变换对特征的影响。

光强变化

假设光强变化是一种仿射变换，即

Harris角点使用了梯度，I_{x}^{'}=aI_{x} , I_{y}^{'}=aI_{y}。平移量b没有影响，但缩放量a会影响到梯度。

如上图，对比度不受影响，但是绝对值由于a变化的发生了变化。考虑到Harris角点算法使用了一个门槛过滤角点，因此会影响到Harris特征。所以说，Harris特征受到部分光强变化的影响。

平移

由于Harris角点仅使用了梯度，M矩阵均由梯度构成，因此，Harris角点具有平移不变性。

旋转

Harris角点M可以看做一个二次型。

                              \begin{bmatrix} u &v \end{bmatrix} M \begin{bmatrix} u\\v \end{bmatrix} = const

其中一个切面可以看做一个椭圆，

                              

\lambda _{1}, \lambda _{2}代表了长轴和短轴，R是旋转量。旋转变换可以看做该椭圆保持长短轴不变的旋转变化。如下图，

                                

C只和\lambda _{1}, \lambda _{2}有关，因此，Harris角点具有旋转不变性。更加准确的来说，应该是采用了高斯窗口的Harris角点才具备旋转不变性。

传送门：Harris角点

缩放

通常角点需要两个以上方向的梯度有明显变化，然而如上图，经过放大后，如果采用同样的窗口寻找角点，原来被认为Corner的区域，会被误认成很多Edge区域。Harris角点算法没有对这种情况做特殊处理，因此，不具备尺度不变性。

剪切变换(Shearing)

如上文所说，Harris角点算法的M可以看做一个椭圆，剪切变换会改变特征值\lambda _{1}, \lambda _{2}。因此不具备剪切变换不变性。

尺度不变性算法

早期的[2]Harris88并不具备尺度不变性，后续又提出了很多改善尺度不变性的算法。

问题定义

解决尺度问题，就是要解决上图所描述的问题，

  • 如何在两张图中分别找到合适的窗口大小。
  • 如何定义响应函数f，使之作用在不同的窗口后，获得相同的值。

尺度选择算法—Auto scale selection

首先解决窗口大小的问题。[6]提出了Auto Scale Selection算法。 如上图所示，为像素点定义不同大小的窗口，并且通过f计算出Response。

在不同的图片上，都可以找到响应(Response)的极值点。该极值点对应的窗口，即为最合适的窗口。再归一到同一个固定的尺寸。

通常在算法实现时，并不会采用不同的窗口大小计算响应。而是采用同样大小的窗口，在图像高斯金字塔上计算。

接下来需要讨论响应函数f了。这个f需要在不同的窗口，确切的说要在不同的金字塔Scale上返回同样的值。即与Scale大小无关。

如下图所示，

其次，f还应该有一个稳定且容易找到的极值，如下图，

Laplacian of Gaussian(LoG)

[6]采用了Laplace-Gaussian算子, 将不同Scale的图像，归一化到同样大小。通过求局部极值，选取角点。由于LoG算子本身具有旋转不变性。所以LoG满足旋转和尺度不变性。

LoG=\sigma ^{2}(G_{xx}(x,y,\sigma)+G_{yy}(x,y,\sigma))

LoG先对图像做高斯滤波，再分别对x, y求偏导，最后将两个偏导数相加。不过通常在具体实现的时候，只需要卷积一个2-D LoG模板即可一步完成。

Difference of Gaussian(DoG)

类似的，[5]SIFT采用DoG算子，求局部极值，获得角点。DoG算子获取不同标准差下的高斯变换的差。

DoG=G(x,y,k\sigma)-G(x,y,\sigma)

DoG无需计算导数，只需要计算高斯金字塔，是对LoG的一种近似。

Harris-Laplace

上面两种算法均与Harris无关。[4]在原始Harris算法的基础上，引入Harris-Laplace算法，使其具备尺度不变性。该算法首先在每一个Scale上计算Harris角点，然后通过LoG算子选择Scale。

仿射不变性算法

这一块过去接触的不多，只能大体写一写。

解决仿射不变性，首先需要选一个初始点P，P是局部光强的极值点。从P开始，沿射线方向扫描。同时定义函数f。当f到达极值值时，扫描结束。如此定义的区域，特征具有仿射不变性。该区域可以看做前面几种方法的高斯窗口。

如上图，如此定义的区域，可以使用椭圆形代表这个区域。

算法步骤

  1. 寻找局部光强极值点。
  2. 以该点作为起点，沿射线方向扫描，直到f到达极值。
  3. 将这些点连接，形成区域边界。
  4. 计算二阶几何矩，得到近似椭圆。
  5. 使用该椭圆表示这块区域。

这一类算法典型的就是MSER(Maximally Stable Extremal Regions.

 

linusyue
关注
专栏目录
图像配准建立仿射变换模型并用RANSAC算法评估
banyu4566的博客
05-09 1071
当初选方向时就因为从小几何就不好、缺乏空间想像能力才没有选择摄影测量方向而是选择了GIS。昨天同学找我帮他做图像匹配，这我哪里懂啊，无奈我是一个别人有求于我，总是不好意思开口拒绝的人。于是乎就看着他给的一章节内容开始写程序了，今天总算给他完成了。做的比较简单，中间也遇到了不少问题，尤其是计算量大的问题，由于老师给的数据是粗配准过的数据， RANSAC算法评估时就...
计算机视觉——SIFT特征匹配RANSAC剔除错误
小唐要努力的博客
10-28 2607
一、基本原理 Sift是计算机视觉里面一个提取特征的经典方法，翻译即尺度不变特性转换，他在空间尺度中寻找极值点，并提取出其位置、尺度、旋转不变量，局部影像特征的描述与侦测可以帮助辨识物体，SIFT特征是基于物体上的一些局部外观的兴趣点而与影像的大小和旋转无关。对于光线、噪声、些微视角改变的容忍度也相当高，其基本步骤一般分为：用高斯核构建尺度空间，形成高斯金字塔，在DoG尺度空间中检测极值点，计算特征点方向，计算128维描述子。 本文内容主要是实现ransac算法，其基本思想就是对处理数据进行随机采样，.
模式识别中的特征提取与计算机视觉不变量_孙即祥.pdf
11-16
模式识别中的特征提取与计算机视觉不变量 孙即祥 pdf
特征，特征不变性，尺度空间与图像金字塔
weixin_30809333的博客
11-29 610
博客：blog.shinelee.me | 博客园 | CSDN 特征 在计算机视觉领域，特征是为了完成某一特定任务需要的相关信息。比如，人脸检测中，我们需要在图像中提取特征来判断哪些区域是人脸、哪些区域不是人脸，人脸验证中，我们需要在两个人脸区域分别提取特征，来判断他们是不是同一个人，如下图所示，深度神经网络最终得到一个128维的特征用于识别等任务，图片来自Openface 常用的特征包括：图...
特征多样性学习
t20134297的博客
09-03 778
1 Hierarchical Pyramid Diverse Attention Networks for Face Recognition 从多尺度，多样性，以及多特征如何进行融合三个角度进行的行文。多尺度中是在网络的不同layer提取特征，并且利用了注意力机制；多样化是是指对注意力机制中的不同mask进行了差异性学习，这里的学习要注意的一点是，就是将不同的mask拉到一定的距离就完事了，没有无止境地拉，这是为什么呢，为什么不尽量拉的越来越远呢，这和triplet loss中的margin就有点类似了，这
特征不变性的个人理解相关
scmales的博客
04-16 1071
一、有关池化 链接：https://www.zhihu.com/question/23437871/answer/24696910 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 池化的作用是使特征减少、参数减少，实质是保持某种不变性（旋转、平移、伸缩等） 特征提取的误差主要来自两个方面： 邻域大小受限造成的估计值方差增大。 卷积层参数误差造成估计均值的偏移。 ...
图像局部不变性特征与描述
04-29
局部特征是从图像局部区域中抽取的特征,可以提供一种具有统计意义的图像内容表述;全局特征(比如颜色直方图)可以描述图像的内容,具有很好的检索性能
计算机视觉——SIFT特征提取与检索算法
weixin_44525231的博客
03-08 1507
@TOC@TOC 1.SIFT相关介绍 SIFT的全称是Scale Invariant Feature Transform，首次由D. G. Lowe于2004年以《Distinctive Image Features from Scale-Invariant Keypoints[J]》发表于IJCV中。SIFT是一种具有尺度不变性和光照不变性的特征描述子，也同时是一套特征提取的理论。SIFT特征...
计算机视觉——python3的SIFT与harris特征匹配及sift原理描述
weixin_43837871的博客
03-17 3514
python实现图像sift特征检测 sift特征包括兴趣点检测器和描述子，是过去十年中最成功的图像局部描述子之一。sift描述算子具有非常强的稳健性，而且sift特征对于尺度、旋转和亮度都具有不变性，十分突出的点不会因光照、尺度、旋转等因素的改变而消失。因此，它可用于三维视角和噪声的可靠匹配。总结前人的结论sift算子可解决的问题有： • 目标的旋转、缩放、平移（RST） • 图像...
OpenCV计算机视觉学习（13）——图像特征点检测（Harris角点检测，sift算法） - 战争热诚 - 博客园1
08-03
【OpenCV计算机视觉学习——图像特征点检测】 在计算机视觉领域，特征点检测是一项至关重要的技术，它在目标匹配、目标跟踪、三维重建等多个应用场景中发挥着关键作用。本文将探讨两种常用的点特征检测方法：Harris...
Python计算机视觉——SIFT描述子 计算机视觉.pdf
04-21
Python计算机视觉——SIFT描述子 Python计算机视觉是计算机科学的一个分支，旨在使计算机具备视觉能力，以便更好地理解和分析图像和视频。SIFT（Scale-Invariant Feature Transform，尺度不变特征变换）是计算机...
特征提取之旋转不变性和尺度不变性的通俗理解
热门推荐
远方传来风铃
03-15 1万+
没有图片，直接看原文链接：https://blog.csdn.net/julialove102123/article/details/80822076 特征匹配（Feature Match)是计算机视觉中很多应用的基础，比如说图像配准，摄像机跟踪，三维重建，物体识别，人脸识别，所以花一些时间去深入理解这个概念是不为过的。本文希望通过一种通俗易懂的方式来阐述特征匹配这个过程，以及在过程中遇到的一些...
网络算法——特征不变性的形象表现
qq_40840924的博客
12-25 2018
阅读卷积神经网络算法相关文献时，有时内容会提到池化层的效果之一是特征不变性。我们可以理解特征不变性就是指张量经过池化，其中蕴含的高级语义没有丢失。let us通过《带珍珠耳环的少女》来生动地展示一下这种效果。 首先使用以下代码对少女进行不同步长的等间隔采样： import matplotlib.image as mpimg import matplotlib.pyplot as plt img = mpimg.imread('ShaoNv.jpg') row, col, cha = img.sha
opencv学习笔记3：修改像素数据后显示图像没有发生改变
weixin_47890036的博客
11-18 488
解决修改像素值后显示图像没有变化的问题 解决方法：将修改后的jpg图像用imwrite函数重新写入，转化为png类型，再重新读入显示即可。
ORB_SLAM2中特征提取之图像金字塔尺度不变性理解
RobotLife的博客
02-13 1万+
本文参考：泡泡机器人提供的带注释的ORB_SLAM2源代码 转载本文请注明出处： 在orb_slam2中，为了实现特征尺度不变性采用了图像金字塔，金字塔的缩放因子为1.2,。其思路就是对原始图形（第0层）依次进行1/1.2缩放比例进行降采样得到共计8张图片（包括原始图像），然后分别对得到的图像进行特征提取，并记录特征所在金字塔的第几层，这样得到一帧图像的特征点，如图1所示。 现在假设在第二层中...
计算机视觉攻略 笔记7 （尺度不变特征的检测）&（多尺度FAST特征检测）
一个有梦想，有追求，有抱负的人
08-16 368
尺度不变特征的检测 SURF特征（加速稳健特征Speeded Up Robust Feature) 参考博文 surf算法原理 示例程序 #include <iostream> #include <vector> #include <opencv2/core/core.hpp> #include </home/jlm/3rdparty/opencv/opencv_contrib/modules/xfeatures2d/include/opencv2/xfeature
python反应图像特征的算法,OpenCV-Python SIFT尺度不变特征变换｜三十九
weixin_42384743的博客
03-26 154
目标在这一章当中，我们将学习SIFT算法的概念我们将学习找到SIFT关键点和描述算符。理论在前两章中，我们看到了一些像Harris这样的拐角检测器。它们是旋转不变的，这意味着即使图像旋转了，我们也可以找到相同的角。很明显，因为转角在旋转的图像中也仍然是转角。但是缩放呢？如果缩放图像，则拐角可能不是角。例如，检查下面的简单图像。在同一窗口中放大小窗口中小图像中的拐角时，该角是平坦的。因此，Harri...
opencv-pthon中的仿射变函数的使用cv2.warpAffine()
求真、务实
03-12 9651
@toc 一、 官方给出的参数为： cv2.warpAffine(src, M, dsize[, dst[, flags[, borderMode[, borderValue]]]]) → dst 其中： src - 输入图像。 M - 变换矩阵。 dsize - 输出图像的大小。 flags - 插值方法的组合（int 类型！） borderMode - 边界像素模式（int 类型！） bord...
卷积神经网络（CNN）的平移不变性和旋转不变性。
深度不学习！！的博客
01-19 8152
文章目录不变性的介绍不变性的原理 不变性的介绍 不变性意味着即使目标的外观发生了某种变化，但是你依然可以把它识别出来。 旋转不变性和平移不变性： 通俗的讲，我给你一张图片，你识别出来这是只狗，我将图片旋转之后再给你，你依旧可以识别出来这是只狗。这就叫做具有旋转不变性。 平移、光照、缩放、视角等不变性同理。 不变性的原理 简单来说，卷积神经网络依靠 卷积+池化达到一定程度上的不变性，因为图像经过平移或旋转后，图片上的特征也随之改变，但依旧会被扫描出来。 下图中，三个红点特征在原始图像的左下角。 当将特征改变
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值