如何通俗地解释泰勒公式? 如何通俗地解释泰勒公式? - 知乎 https://www.zhihu.com/question/21149770/answer/464443944简单明了,通俗易懂。感谢贡献
Learning to Guide Local Feature Matches 2020 核心思想:训练一个“指导器”,指导匹配的大致范围。如下图所示:假设特征是sift,正确的匹配是w,通过最近邻算法可能得到的匹配是p1,如果先有一个指导,告诉你大致正确的匹配在p2附近,那么就有很大的可能找到w正确匹配。因此本文的重点是如果训练出一个这样的“指导”器。整体pipeline: 和NC-NET中的4d卷积基本上一致,首先输入两张图,经过cnn网络会输出两张feature map。 然后通过计算一个4d的tensor,表示的是匹配的相关性score 矩..
Dual-Resolution Correspondence Networks 2020 核心思想:使用4D 卷积运算获取dense的匹配pipeline: 解释:输入为两张image,输出为dense的特征匹配。算法共分为三部分,分别是:特征提取模块、4d卷积模块、coarse和fine融合模块1> 特征提取模块。 输入两张image,然后使用经典的cnn提取多个分辨率的feature map层次,将高分辨率的feature map称为fine feature,将低分辨率的 feature map称为coarse feature,由于...
Consensus-Guided Correspondence Denoising 2021 核心思想:通过一种从粗到精的方式得到内点,当outlier高达90%的时候仍然可以得到很好的结果整体pipeline: 输入的是两张图的匹配对,类似learning good feature match 输出的是这些匹配对的score,直接得到inlier和outlier核心部分是pruning block模块。下边具体介绍一个Pruning Block: 1. 输入N*4的匹配矩阵然后通过resnet将特征升为N * 128(我的理解这里应...
Learning Two-View Correspondences and Geometry Using Order-Aware Network 2019 核心思想:借鉴pointnet的方式将局部邻域信息融入匹配整体pipeline:一共分为三部分:1>是pointCN模块,将无序匹配对转换成有序不变矩阵 2>DiffPool和DiffUnpool 3>Order-Aware Filtering block(这里边的是MLP多层感知机)网络的整体输入是匹配对坐标(x1,y1,x2,...
LoFTR: Detector-Free Local Feature Matching with Transformers 2021 核心思想:本文的目的是为了解决传统匹配的时候detector不鲁棒的问题,例如下图,上边是本文匹配结果,下边是superglue匹配结果: 可以认为是在superglue上的简单改进整体pipeline: 如下图所示,整体pipeline分为四个模块:网络输入两张待匹配的image,输出最终的local feature的匹配结果1> local feature 和传统的dee...
SuperGlue: Learning Feature Matching with Graph Neural Networks 2020 整体介绍:核心思想:使用图的思想,融入邻域以及特征点的位置信息解决2d-2d匹配问题整体pipeline: 解释说明:整个pipeline输入的是两张图,首先进行特征提取,然后经过gnn网络输出两张图特征点之间的匹配关系细节:整个网络主要分为三部分,分别是:特征提取 -> attentional gnn(其实就是自卷机+交叉卷机)-> optimal layer(目的是为了得到1-1的match)1>特征提取 特征提取部分可...
Unifying Deep Local and Global Features for Image Search(2020)(十四) 本文要解决的问题:image retrieval,室外,地标识别(GOOGLE之作,大神出品必属精品)核心思想:融合global和local feature进行更加精确的image retrieval,并且在local feature 的训练不需要标注(无监督)网络框架:整个网络可以分为三部分: 1.backbone 网络(就是传统的cnn网络vgg,提取feature map层)。 2.取较深的一层feature map...
Key.Net: Keypoint Detection by Handcrafted and Learned CNN Filters(2019)(十三) 本文要解决的问题: 本文主要解决detector 问题,为什么要解决这个问题呢?目前已知的detector的可重复性检测不鲁棒 作者分析是没有像fast等这样使用像素的梯度信息,因此本文提出了一种新的方法解决detector问题。本文主要的贡献: 提出了一种融合传统detector方法和deeplearning的方法的特征detector器,更加鲁棒稳定健壮。首先是整体框架: 网络框架很简单,首先为了仿照金字...
HyNet: Local Descriptor with Hybrid Similarity Measure and Triplet Loss(2020)(十二) 本文要解决的问题: 从公式推导descriptor如何训练更加完美,仅仅解决descriptor的问题,detector使用sift或者别的网络得到。1.梯度下降分析1.1 首先是梯度方向分析 上述1中的决定梯度方向是分别对x和y求偏导数可以得到上述结果,我们假设:梯度的方向是∆ =∆∥ + ∆⊥,其中∆∥表示和特征 向量x或者y平行的向量,∆⊥表示和特征向量x或者y垂直的向量,任何梯度方向都可以使用这两个向量之和表示。 当归一化之后忽...
Learning Feature Descriptors using Camera Pose Supervision(2020)(十) 本文要解决的问题: 本文主要是提出一种新的方法提取descriptor,由于一般descriptor的训练都需要标注匹配数据,这件事比较难, 因此本方法的创新之处就在于仅仅通过relative pose就可以训练网络学习descriptor,不需要标注match。本方案需要使用别的算法提供离散的detector。符号定义: :两张匹配图 :分为表示两张图上的像素坐标 :分别表示I1和I2图片通过网络...
D2D: Keypoint Extraction with Describe to Detect Approac(2020)(九) 核心思想: 本文是一种refine特征提取网络的技术,并且是无监督学习,不需要标注数据方便refine 任何deep feature网络解决问题以及出发点: 一个完整的feaure包含角点信息和描述符信息,直观上讲描述符的维度那么高 理论上他应该包含了一些关于角点的信息,而且应该也比较鲁棒,那么是否可以 从描述符中抽取出来detector信息呢?这就是本文出发点。简单review: 现在的d...
Reinforced Feature Points: Optimizing Feature Detection and Description for a High-Level(2020)(八) 本文是一套提高feature提取以及描述能力的通用方案,可以认为是一种refine原始网络的方案。可以应用到任何类似superpoint这样的网络上,不需要数据标注,而且改造成本很小!!!!!问题描述:像superpoint这样的网络训练的时候是在一些合成图上训练,并且这样的网络几乎都是在low-level层次训练, 并没有在high-level层次训练网络,因此往往在解决实际任务的时候泛化能力不强 (比如我想进行2d-3...
R2D2: Repeatable and Reliable Detector and Descriptor(2019)(七) 本文的核心思想是提出一套同时detector和descriptor的网络,区别于别的网络,本文会输出Repeatable和Reliable层用来表示feature map的score和权重(置信度)。首先我们来看下整体网络结构: 输入一张W*H的image,输出三块东西:1)dense 的descriptor 的feature map(H*W*128) ...
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features(2019)(五) 本文是一个集合detector和descriptor为一体的网络,并且只需要知道匹配就能同时训练一个detector和descriptor的网络这也是D2的来历一些思考:1. 一些deeplearning的feature匹配其实在descriptor表现的已经很好了(感受野也比较稳定), 所以认为瓶颈在detector上,本文主要解决的问题就是这个。 2. descriptor中融合了许多信息,那么...
LF-Net: Learning Local Features from Images(2018)(四) 这是一个无监督学习的网络,也可以理解成自监督(思路挺不错),具体如何无监督下边会说。 整体网络结构如下: 输入一整图片,直接输出detector和descriptor,并且图片大小没有要求。可以看出网络整体包含两部分,detector网络和descriptor网络。 1.1 首先是detector网络。这里目标同sift一样要学习四个数: x,y, orientation,scale。具体过程如下: ...
Working hard to know your neighbor’s margins: Local descriptor learning loss(2018)(三) 主要是在L2-NET上的改进,在L2-NET中中间feature map层以及最终的feature维度上都进行了监督,容易造成过拟合,因此本文做了优化主要贡献点:1. End-to-end的训练模式。 2. loss简单有效首先:如上图所示,A和P表示两个匹配集合, 例如a1和p1是一个gt中的匹配, d(a1,p1)是两个匹配之间的descriptor之间的距离。本文中目标:尽量缩小正确匹配的feature之间的距离,尽量增大错误匹配...