SIFT、SURF及相关特征描述子概述_an adaptive and generic corner detector based on t-CSDN博客

本文链接：https://blog.csdn.net/holybin/article/details/28619025

一、SIFT

1、原理

SIFT来自于David Lowe的Distinctive Image Features from Scale-Invariant Keypoints. D. Lowe. IJCV, 60 (2), 2004.[PDF]。SIFT的提出也是局部图像特征描述子研究领域一项里程碑式的工作。由于SIFT对尺度、旋转以及一定视角和光照变化等图像变化都具有不变性，并且SIFT具有很强的可区分性，自它提出以来，很快在物体识别、宽基线图像匹配、三维重建、图像检索中得到了应用，局部图像特征描述子在计算机视觉领域内也得到了更加广泛的关注，涌现了一大批各具特色的局部图像特征描述子。具体原理的讲解参考以下大神的文章，讲得很详细：

（1）Rachel-Zhang的SIFT特征提取分析 - Rachel Zhang的专栏 - 博客频道 - CSDN.NET

（2）v_JULY_v的SIFT系列：

经典算法研究系列：九、图像特征提取与匹配之SIFT算法 - 结构之法算法之道 - 博客频道 - CSDN.NET

经典算法研究系列：九之续、sift算法的编译与实现 - 结构之法算法之道 - 博客频道 - CSDN.NET

九之再续：教你一步一步用c语言实现sift算法、上 - 结构之法算法之道 - 博客频道 - CSDN.NET

九之再续：教你一步一步用c语言实现sift算法、下 - 结构之法算法之道 - 博客频道 - CSDN.NET

第九章三续：SIFT算法的应用--目标识别之Bag-of-words模型 - 结构之法算法之道 - 博客频道 - CSDN.NET

2、资源

（1）Lowe的C++代码和matlab代码：http://www.cs.ubc.ca/~lowe/keypoints/。

（2）Rob Hess基于C和OpenCV的开源SIFT库OpenSIFT：http://robwhess.github.io/opensift/。

（3）vlfeat中sift toolbox（该SIFT代码贡献自Andrea Vedaldi）：http://www.vlfeat.org/。

（4）wiki上其他SIFT实现，包括GPU-SIFT，fast-sift等：http://zh.wikipedia.org/wiki/尺度不变特征变换

二、SURF

1、原理

Hebert Bay提出的SURF：http://www.vision.ee.ethz.ch/~surf/，论文：Herbert Bay, Andreas Ess, Tinne Tuytelaars, Luc Van Gool, SURF: Speeded Up Robust Features, Computer Vision and Image Understanding (CVIU), Vol. 110, No. 3, pp. 346--359, 2008. [PDF]

SURF（Speeded Up Robust Features）是对SIFT的改进版本，它利用Haar小波来近似SIFT方法中的梯度操作，同时利用积分图技术进行快速计算，SURF的速度是SIFT的3-7倍，大部分情况下它和SIFT的性能相当，因此它在很多应用中得到了应用，尤其是对运行时间要求高的场合。这几篇文章对于SURF讲解的很好，有解释有代码：

（1）特征点检测学习_2(surf算法) - tornadomeet - 博客园

（2）学习OpenCV——Surf（特征点篇）&flann - 小熊不去实验室 - 博客频道 - CSDN.NET

（3）局部特征(3)——SURF特征总结 - 姜文晖的博客 - 博客频道 - CSDN.NET

2、资源

（1）原作者提供的code：http://www.vision.ee.ethz.ch/~surf/download_ac.html

（2）wiki上的链接：http://zh.wikipedia.org/wiki/加速稳健特征

三、SIFT和SURF综合

（1）特征点匹配方法（SIFT匹配）的一点见解 - holybin的专栏 - 博客频道 - CSDN.NET

（2） OpenCV中的 features2d中实现了各类特征描述子，包括SIFT和SURF算法：

OpenCV中feature2D学习——SURF和SIFT算子实现特征点检测 - holybin的专栏 - 博客频道 - CSDN.NET

OpenCV中feature2D学习——SIFT和SURF算子实现特征点提取与匹配 - holybin的专栏 - 博客频道 - CSDN.NET

OpenCV中feature2D学习——SIFT和SURF算法实现目标检测 - holybin的专栏 - 博客频道 - CSDN.NET

（3）局部特征(4)——SIFT和SURF的比较 - 姜文晖的博客 - 博客频道 - CSDN.NET

（4）局部特征(5)——如何利用彩色信息 Color Descriptors - 姜文晖的博客 - 博客频道 - CSDN.NET

四、其他特征描述子

1、PCA-SIFT

PCA-SIFT can be thought of as a means of compressing the traditional SIFT feature descriptor from 128 dimensions to about 20. It accomplishes this by applying Principal Component Analysis to the normalized gradient patches（将SIFT中直方图方法找主方向的方法换作主元分析法PCA）。

作者主页：http://www.cs.cmu.edu/~yke/pcasift/；

论文：Y. Ke and R. Sukthankar. PCA-SIFT: A More Distinctive Representation for Local Image Descriptors. Computer Vision and Pattern Recognition, 2004. [PDF]；

代码：pcasift-0.91nd.tar.gz

2、BRIEF/ORB
（1）BRIEF（Binary Robust Independent Elementary Features）

BRIEF利用局部图像邻域内随机点对的灰度大小关系来建立局部图像特征描述子，得到的二值特征描述子不仅匹配速度快，而且存储要求内存低，因此手机应用中具有很好的应用前景。其实，利用邻域内点对的灰度大小关系进行特征描述这一思想在SMD（ECCV’08）中就已经有了。

主页：http://cvlab.epfl.ch/research/detect/brief/

论文：Calonder M., Lepetit V., Strecha C., Fua P.: BRIEF: Binary Robust Independent Elementary Features. ECCV 2010.[PDF]

（2）ORB

oFAST + rBRIEF (ORB) is yet another technique for nding feature locations and descriptors. It is, unsurprisingly, the combination of the two algorithms from which it gets its name. Its feature descriptors are specially designed to actually be binary sequences, which offer rather striking speed gains during feature acquisition and matching operations.

论文：Ethan Rublee and Vincent Rabaud and Kurt Konolige and Gary Bradski, ORB: an efﬁcient alternative to SIFT or SURF, ICCV 2011. [PDF]

（3）详细解释以及OpenCV运行demo：学习OpenCV——ORB & BRIEF（特征点篇）

3、BRISK（Binary Robust Invariant Scalable Keypoints）

主页：http://www.asl.ethz.ch/people/lestefan/personal/BRISK

论文：Stefan Leutenegger, Margarita Chli and Roland Siegwart. BRISK: Binary Robust Invariant Scalable Keypoints. Proceedings of the IEEE International Conference on Computer Vision (ICCV) 2011.[PDF]

代码：brisk.zip

详细解释：BRISK: Binary Robust Invariant Scalable Keypoints - Frisch' Blog - 博客园

4、MSER（Maximally Stable Extremal Regions）

论文：J.Matas. Robust Wide Baseline Stereo from Maximally Stable Extremal Regions. BMVC2002. [PDF]

5、FAST（Feature from accelerated segment test）

（1）OpenCV的运行demo：学习OpenCV——Fast（特征点篇）
（2）FAST特征点检测的发展历程：在FAST特征提出之后，实时计算机视觉应用中特征提取性能才有显著改善。目前以其高计算效率(computational performance)、高可重复性(high repeatability)成为计算机视觉领域最流行的角点检测方法。

a.1997年，Simth提出了SUSAN角点检测方法。主页：http://users.fmrib.ox.ac.uk/~steve/susan/.，论文：S. M. Simth, J. M. Brady, Susan - a new approach to low level image processing. International Journal of Computer Vision 23, 1997.[PDF]

b.在SUSAN方法的基础上，2005年, Rosten在提出基于The segment test criterion的角点检测方法，全称”Features from Accelerated Segment Test”，简称FAST。论文：E. Rosten, T. Drummond, Fusing points and lines for high performance tracking. IEEE International Conference on Computer Vision, 2005.[PDF]

c.2006年，Rosten使用机器学习对FAST的一些缺点进行改进，他的主页http://www.edwardrosten.com/work/fast.html提供的

FAST实现即基于此论文：E. Rosten, T. Drummond, Machine learning for high-speed corner detection, ECCV 2006.[PDF]。后续在2009年提出性能增强(可重复性增强、计算效率下降)的FAST-ER：E. Rosten, R. Porter, T. Drummond, Faster and better: A machine learning approach to corner detection, IEEE PAMI, 2009.[PDF]。

d.2010年，Mair在ECCV中提出AGAST特征。对FAST底层的the accelerated segment test进行改进，通过在扩展配置空

间寻找最优决策树，使用特定树的组合获得自适应并且通用的accelerated segment test。对FAST 9-16 detector提速约13%，对

FAST 7-12 detector提速最高30%，对FAST 5-8 detector提速最高50%。AGAST项目网址：http://www6.in.tum.de/Main/ResearchAgast.，论文：E. Mair, G. D. Hager, Adaptive and generic corner detection based on the accelerated segment test, ECCV 2010.[PDF]

e.2011年，S. Leutenegger在BRISK描述子中提出multi-scale AGAST detector，并用实验证明与SURF detector有等效的可重复性

(equivalent repeatability)。对Graffiti序列的第一幅图检测时间为17.20ms，约为SURF detector消耗时间的16%，SIFT detector消耗时

间的1%。

【引自：SIGVC论坛的A Brief History of FAST corner detector】

6、FREAK（Fast Retina Keypoint）

主页：http://www.ivpe.com/freak.htm

论文：A. Alahi, R. Ortiz, and P. Vandergheynst. FREAK: Fast Retina Keypoint. In IEEE Conference on Computer Vision and Pattern Recognition, 2012.[PDF]

代码：https://github.com/kikohs/freak

7、GLOH (Gradient location-orientation histogram)

GLOH是SIFT描述子的一种延伸，为了增强其鲁棒性和独立性。以对数极坐标在半径方向建立三个带（6，11，15）和8个角度方向，形成17个位置带，中心带在半径方向不分块。梯度方向量化为16个带，形成272维矢量，利用PCA降维。即：把原来SIFT中4×4棋盘格的location bins改成仿射状的同心圆的17 location bins来表示，并计算其中的梯度方向直方图（梯度方向分为16种），因此共16×17＝272维，之后再作PCA将其降成128维，因此保有跟SIFT一样精简的表示方法。

8、Harris

论文：C. Harris and M.J. Stephens, "A combined corner and edge detector" Alvey Vision Conference, pp. 147–152, 1988.[PDF]

代码与原理：

（1）Harris角点检测 - 松子茶的专栏 - 博客频道 - CSDN.NET

（2）局部特征(2)——Harris角点 - 姜文晖的博客 - 博客频道 - CSDN.NET

9、Daisy

DAISY是面向稠密特征提取的可快速计算的局部图像特征描述子，它本质思想和SIFT是一样的：分块统计梯度方向直方图，不同的是，DAISY在分块策略上进行了改进，利用高斯卷积来进行梯度方向直方图的分块汇聚，这样利用高斯卷积的可快速计算性就可以快速稠密地进行特征描述子的提取。比较巧合的是，DAISY这种特征汇聚策略被一些研究者（Matthen Brown，Gang Hua，Simon Winder）通过机器学习的方法证明相对于其他几种特征汇聚策略（卡迪尔坐标下分块、极坐标下分块）是最优的。

主页：http://cvlab.epfl.ch/software/daisy

10、ASIFT（Affine SIFT）

ASIFT（Affine SIFT）通过模拟所有成像视角下得到的图像进行特征匹配，可以很好地处理视角变化的情况，尤其是大视角变化下的图像匹配。

主页：http://www.cmap.polytechnique.fr/~yu/research/ASIFT/

11、MROGH

MROGH（Multi-support Region Order-based Gradient Histogram）则是特征汇聚策略上寻求创新，之前的局部图像特征描述子，其特征汇聚策略都是基于邻域内点的几何位置的，而MROGH基于点的灰度序进行特征汇聚。

主页：http://vision.ia.ac.cn/Students/bfan/mrogh.htm