2020最强匹配综述—《Image Matching from Handcrafted to Deep Features: A Survey》阅读总结

做拼接和配准的朋友可以私聊我VX OR QQ，拉群一起交流学习！

---

前言

作者还是一个大四刚学图像方向的小萌新 ~如有错误请轻轻喷 ~ 但非常欢迎指出错误！互相交流，共同成长，由于综述太长，已经用思维导图整理重点，若需思维导图原图和原论文批注解读，关注公众号miaowucv回复综述即可~

---

一、介绍

图像匹配一般由两部分组成，即匹配特征的性质和匹配策略
area-based method:采用局部或者整体的相似性测量，而不用检测整体图像结构
特点：基于区域的图像匹配计算成本高昂，对图像失真敏感，外观会因噪音，不同光照，不同传感器影响，只适用于小的缩放，旋转或局部
feature-based method:特征匹配，相比于传统匹配，具有更高的灵活性，鲁棒性，和广泛应用。
特点：基于特征的匹配方法通常更有效，能更好地处理几何变形。但它们都是基于显著特征检测和描述、特征匹配和几何模型估计，这些都是具有挑战性的。一方面，在基于特征的图像匹配中，很难定义和提取现实世界中三维空间中比例高、位置相同的大量特征来保证匹配性。另一方面，将N个特征点与另一幅图像中检测到的N个特征点进行匹配，得到N个特征点!可能的匹配和成千上万的特征通常是从高分辨率图像中提取的，点集中通常包含受控的异常值和噪声，这给现有的匹配方法带来了很大的困难。虽然已经提出了各种局部描述符并与检测到的特征相结合来简化匹配过程，但局部外观信息的使用不可避免地会导致模糊和大量的虚假匹配，特别是对于图像质量低、内容重复、发生严重的非刚性变形和极端视点变化的图像。
几何模型测量困难原因：
1.在现实世界中，很难定义和提取出三维空间中百分比高、数量大且属于相同位置的特征来保证匹配性。
2.需要大量的计算（从n个特征点匹配另外n个特征点有n!个匹配），并且一般匹配点都是从高分辨率图像中拿取，数量大，有噪点
论文整体知识结构：主要分为特征检测、特征描述、特征匹配

二、特征检测

早期的图像特征是手工标注的，目前仍在一些低质量的图像匹配中使用。随着计算机视觉的发展和对自动匹配方法的要求，人们引入了多种特征检测方法来从图像中提取稳定的、显著的特征。

2.1特征检测的概述

用于匹配的最流行的特征是点(又称关键点或兴趣点)。与直线特征和区域特征相比，点易于提取和定义，且形式简化，可大致分为角特征和斑点特征。一个好的兴趣点必须容易找到并且理想情况下能快速计算，因为在一个好的位置上的兴趣点对于进一步的特征描述和匹配是至关重要的。为了提高(i)匹配性，(ii)后续应用的能力，(iii)匹配效率和减少存储需求。

2.2角特征

2.3斑点特征

2.4学习特征

2.53D特征

由于3D特征在另外一篇综述中会有更加具体的论述，所以阅读时对3D的阅读比较粗糙。

2.6总结

三.特征描述

一旦从原始图像中检测到有区别的兴趣点，就需要为每个特征耦合局部补丁描述符，以便在两个或更多图像上正确有效地建立特征对应关系。换句话说，特征描述符通常用于将兴趣点周围的原始局部信息转换为稳定且可区分的形式，通常是作为高维向量，以便在描述符空间中两个对应的特征尽可能接近，而两个不对应得尽可能远离。简单点来说，就是尽可能的使描述符建立对象准确的关系，并且与其他不对应得特征大大区别出来

3.1特征描述的概述

特征描述的处理过程可以分为三个步骤：

1. 局部部低层特征提取（提取局部图像区域的低级信息：亮度、梯度）
2. 空间池化（例如矩形网格，极网坐标，高斯采样等）
3. 特征归一化

3.2 人工特征描述

3.3 基于学习的特征描述符

1.传统学习

2.深度学习

3.4 3-D特征描述符

暂未整理

3.5 总结

四.特征匹配

匹配任务的目的是两幅图像之间建立正确的图像像素或点的对应关系

4.1 特征匹配概述

特征匹配分为两种方法：基于区域、基于特征
基于区域的方法：通常指密度标记（图像配准）常不检测特征。
基于特征的方法中：提取特征点及其局部描述符时，图像匹配任务可以转化为间接（使用局部描述符）和直接匹配（不使用）。
直接匹配：直接特征匹配是直接利用空间几何关系和优化方法，从两个给定的特征集中建立对应关系，大致可分为图匹配和点集配准。
间接匹配：

1. 建立描述符的相似性与从测量空间判断的距离的对应关系。
2. 去除虚假匹配（通过使用额外的局部和或全局几何约束）。
3. 密集处理（稀疏特征对应）
4. 图像重采样和插值

4.2 区域匹配

4.3 图匹配

4.4 点集匹配

4.5 基于优化匹配

4.6 间接图像匹配

4.7学习匹配

4.8总结

总结

由于时间问题，除了重点的一二三四章，后续几章未看，第一次看综述类文章，感觉又多又杂，由于又是初学者，最初看起来十分吃力，后续尝试了一下将正片文章进行了思维导图整理。稍微能读懂，但还并未完全吃下，最好的方式应该是能够自我整理一下每一个领域算法的衍生，解决的问题，目前还存在的效果问题。但后续学习中心放在了图像拼接上，暂时会放一放对匹配和配准的学习。若有朋友需要完整的思维导图or论文批注（可能有错233）可以关注公众号miaowucv回复综述