D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（CVPR2019）

已于 2022-05-20 11:14:22 修改
阅读量816 收藏 5
点赞数 1
分类专栏： 基于深度学习的图像匹配算法 传统图像匹配和基于深度学习的图像匹配组合起来会怎么样？ 文章标签： cnn 深度学习 机器学习
于 2022-05-20 11:01:01 首次发布
原文链接：https://zhuanlan.zhihu.com/p/436440495
版权

目录

Feature

Abstract

Introduction

Joint Detection and Description Pipeline

Feature Description

Feature Detection

Hard feature detection

Soft feature detection

Multiscale Detection

Jointly optimizing detection and description

Training loss

         Experimental results

Improvement 

         Shortcoming

Feature

监督方法，稀疏匹配，密集匹配

特征点定位精度较差、速度慢，但对光照变化、模糊变化等鲁棒性较高

Abstract

本文解决了在困难的成像条件下找到可靠的像素级匹配的问题

本文提出了一种使用单个卷积神经网络同时进行特征检测并提取密集的特征描述符的方法。通过将检测放到处理的后期阶段，从而获得更稳定的关键点。该模型使用从大规模SFM重建中提取的像素对应来训练。

Introduction

在图像之间建立像素级对应关系是计算机视觉中的基本问题之一，现在主要的方法包括稀疏匹配和密集匹配

稀疏匹配一般采用检测然后描述的方法（如下图a），这种方法效率高、速度快，但由于图片中低纹理区域或是重复场景的出现，这种方法可能无法提取到特征点或提取到错误的特征点，其本质原因在于detector只使用了浅层图像信息

密集匹配直接使用深层特征来获得密集特征描述，不使用detector，从而有更高的鲁棒性，但计算效率大大降低

本文提出了一种足够鲁棒的sparse local feature方法（如下图b），将detector放在深层特征后与decriptor高度耦合而一起实现，从而既有sparse方法的高效性，又有dense方法的鲁棒性

Joint Detection and Description Pipeline

与传统的使用两阶段的检测方法不同，本文的方法使用密集的特征提取与描述，但最终获得稀疏的特征点和对应的描述符。这里称它为D2-Net，如下图所示：

D2-Net的第一步是使用CNN网络 F 提取高层次特征，得到 F=F(I),F\epsilon \mathbb{R}^{h\ast w\ast n}

Feature Description

直接使用 (i,j) 处  的channel方向上的向量作为该点的描述符：

此外，在应用描述符进行匹配之前，应对其进行归一化：

Feature Detection

对3D张量 F 的每一层feature map来说，有：

这里，CNN网络 F 可以看作是 n个不同的特征检测器，每个都产生一个二维响应  。这些检测响应图类似于SIFT中获得的高斯差分响应图。为了确定最终特征点的位置，这些原始分数需要进行后处理

Hard feature detection

为模仿如DoG中的稀疏化，可以使用如下方案：

即对于像素 (i,j) ，先选择响应最大的探测器  ，然后验证在该响应图上该位置是否是局部最大值

Soft feature detection

上述的hard方案在反向传播时会遇到困难（如判断是否是局部最大值），因此这里将其改进为一个soft方案：

首先定义soft local-max score：

N(i,j) 是(i,j) 的8邻域并包括它本身

其次定义了ratio-to-max：

得到得分图：

也即只有 (i,j) 位置的各个响应图 D^{k} 中存在响应尽可能比其他检测器大并且尽可能是局部最大值的点，  的得分将越高

最终得到响应图：

Multiscale Detection

虽然CNN描述符由于数据增强以及卷积核的大小、池化层等而具有一定的尺度不变性，但这种不变性主要体现在局部，在视点差异显著的情况下匹配往往会失败。因此本文在前向推理的过程中使用了图像金字塔

给定输入图像 I ，构造三种不同分辨率（  ，对应半分辨率、全分辨率和二倍分辨率）的图像  ，并提取每个分辨率的特征图  ，并计算各个分辨率的特征图：

这里使用双线性插值进行分辨率的恢复

此外，为了防止重复检测特征：从最粗的尺度开始，标记检测到的位置（包括邻域），并在较细尺度忽略这些区域

Jointly optimizing detection and description

Training loss

检测出的关键点在视角或照明的变化下应是可重复的；得到的描述符应是独特的，以防止误匹配。为此，这里使用了改进的triplet margin ranking loss

triplet margin ranking loss

对于图像对 (I_{1},I_{_{2}}) ，可以得到正例间的距离：

以及负例间的最小距离：

这里的负例是从对应的特征点的邻域外选取的描述符与特征点最近的点：

triplet margin ranking loss如下，其中 M 是超参：

Experimental results

在这里插入图片描述

在这里插入图片描述


在这里插入图片描述

Improvement 

直观地说，这种损失通过惩罚可能导致错误匹配的描述符来加强描述符的独特性，但对于检测来说并无约束。为了进一步约束检测的可重复性，这里添加了一个系数项：

S 为检测时最终的响应分数，C 为所有的对应点；当triplet loss越小时，也即当前点对是越显著的对应点时，检测分数将尽可能地大，从而保证检测器的可重复。

Shortcoming

特征点定位精度较差、速度慢

在SFM、SLAM等应用场景下，实时性效果不一定有（SIFT、ORB等）效果好

论文链接：https://arxiv.org/pdf/1905.03561.pdf
代码链接：GitHub - mihaidusmanu/d2-net: D2-Net: A Trainable CNN for Joint Description and Detection of Local Features

愿意和大家分享知识的职场小白
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
论文笔记：D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
weixin_43199832的博客
03-25 2526
论文链接：https://arxiv.org/pdf/1905.03561.pdf 代码链接：https://github.com/mihaidusmanu/d2-net 主要内容 相比传统的detect-then-describe的方法（先提取关键点，然后在关键点附近提取patch，然后用这些patch产生描述子），本文提出的D2-Net采用describe-and-detect的策略（同时提取描述子和关键点），测试显示D2-Net在困难的数据集（如较大的光照、角度变化等）上可以获得相同甚至更好的性能。
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for
04-26
yolov7由yolov4原版人马打造，试图将yolo算法打造的更快，更好！同时能够支持边缘到云端的移动GPU设备。作者号称YOLOv7 在 5 FPS 到 160 FPS 范围内，速度和精度都超过了所有已知的目标检测器，并在 GPU V100 上，30 FPS 的情况下达到实时目标检测器的最高精度 56.8% AP。YOLOv7 是在 MS COCO 数据集上从头开始训练的，不使用任何其他数据集或预训练权重。本文主要通过以下4个方面，对原有目标检测模型进行改进。 网络架构 模型重参化（model re-parameterization） 动态标签匹配技术（dynamic label assignment technology） bag-of-freebies 相关工作 实时目标检测器 目前最先进的实时目标检测算法主要基于YOLO和FCOS。 能够成为最先进的实时目标检测器的算法通常需要以下特征： （1）更快更强的网络架构 （2）一种更有效的特征集成方法 （3）更精确的检测方法 （4）更鲁邦的损失函数 （5）更有效的标签分配方法 （6）更有效的训练方法 本文主要针对4,5.6三
探索D2-Net：一款强大的3D目标检测框架
最新发布
gitblog_00046的博客
04-12 348
探索D2-Net：一款强大的3D目标检测框架 项目地址:https://gitcode.com/mihaidusmanu/d2-net 在这个数字时代，计算机视觉技术已经成为各种应用程序的核心，特别是在自动驾驶、机器人导航和虚拟现实等领域。在这一领域中，3D目标检测是一个关键环节，它让机器能够理解周围环境的三维结构。今天，我们将会深入探讨一个开源的3D目标检测框架——D2-Net，这是一个高效且具...
Trainable Frontend For Robust and Far-Field Keyword Spotting.pdf
08-29
Trainable Frontend For Robust and Far-Field Keyword Spotting 1. Introduction 2. Per-Channel Energy Normalization 3. Trainable PCEN Fronten 4. Experiments: PCEN vs. log-mel 5. Discussions and Conclusions
An End-to-End Trainable Neural Network for Image-based Sequence Recognition and
12-20
CRNN论文
2021护网期间Chrome远程代码执行0Day复现（CVE-2021-21220）
zhabgbuneng的博客
05-24 1993
这个漏洞算是护网期间比较出名的一个，蛮多人知道的，据我护网结束回来差不多也一个月了，得空复现一下 漏洞分析 漏洞存在于 Chrome 的 JS 引擎的 JIT 编译器 Turbofan 当中，Instruction Selector阶段在处理ChangeInt32ToInt64节点时，会先检查 node 的 input 节点，如果 input 节点的操作码是 Load，那么会根据该 input节点的 LoadRepresentation 和 MachineRepresentation进行一些特殊的处理，
D2-Net（CVPR 2019）特征点检测论文笔记
秋山丶雪绪的博客
11-22 6223
1. 前言 论文地址 代码地址   detect-then-describe：对应 sparse local features，首先通过检测器得到特征点，然后提取特征点周围的 patch 得到描述符。   缺点：差异大的图像对效果不好（昼夜、季节、弱纹理场景）   原因：描述符由较大的区域得到，而特征点由很小区域的低级信息得到（角点等），导致检测的结果不稳定。   作者表示，即使对应的特征点检测不到，但是描述符仍然可以成功匹配，所以放弃检测阶段，而是密集提取描述符，代价是匹配时间和内存消耗。   dete
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
Christo的博客
03-07 894
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
D2-net：A Trainable CNN for Joint Description and Detection of Local Features
lyk12138的博客
03-21 308
论文阅读D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
【论文精读】D2-Net:A Trainable CNN for Joint Description and Detection of Local Features
Prettybritany的博客
11-21 119
但是，情况并非那么简单，因为描述符内的不是所有变量都是"鉴别性"的：两个关键点可能具有小的距离测量，因为它们的描述符内的大多数变量具有相似的值，但是那些变量可能对实际的匹配无关。放弃特征点检测而直接在整张图片上进行稠密的描述子提取“[10, 15, 48, 52].” 这种方法比稀疏特征点匹配“[45, 58, 69],” 显现出更好的匹配结果。传统稀疏特征提取的方法基本上都是先进行特征提取“[7, 19, 29, 31, 33]” ，然后提取描述子“[7, 9, 24, 29, 44]”。
【定位系列论文阅读】D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（上）
weixin_46050242的博客
10-12 310
在这项工作中，我们解决了在困难的成像条件下找到可靠的像素级对应的问题。我们提出了一种方法，其中单个卷积神经网络扮演双重角色:它同时是密集特征描述符和特征检测器通过将检测推迟到较晚的阶段，获得的关键点比基于低级结构早期检测的传统关键点更稳定。我们表明，该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而无需任何进一步的注释。该方法在高难度的亚琛昼夜定位数据集和InLoc室内定位基准上均获得了最先进的性能，在图像匹配和3D重建的其他基准上也具有竞争力。
YOLOv7: Trainable bag-of-freebies sets new state-of-th
04-19
YOLOv7-E6 目标检测器（56 FPS V100，55.9% AP）优于基于变压器的探测器 SWINL 级联掩模 R-CNN（9.2 FPS A100，53.9% AP） 速度为509%，精度为2%，基于卷积的检测器ConvNeXt-XL级联掩模R-CNN（8.6 FPS A100，AP为...
tiny-trainable工具：Tiny Trainable Instruments是使用微型机器学习并基于微控制器的媒体艺术工具的集合
02-22
Tiny Trainable Instruments是AarónMontoya 的硕士学位论文，AarónMontoya 是的研究生，也是研究团队和研究助理，在2019-2021学年期间。 本论文项目的顾问是 ，论文的读者是和 。 本论文项目的特色是UROP大学...
时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位（ICCV 2021）
LiRongLu_的博客
07-09 348
关于D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activat论文学习，时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位。引入了一种新的损失公式，该公式联合增强了潜在嵌入的可分辨性和输出时序类激活对弱监督引起的前景背景噪声的鲁棒性。提出的公式包括一个判别和去噪损失项，以增强时序作用定位。该判别词引入了分类损失，并利用自顶向下的注意机制来增强潜在前......
d2的自定义训练和增强
deep_love1314的博客
06-15 1383
d2
ByteCTF_2019&XNUCA_2019部分web题复现
Lethe's Blog
09-11 4583
EzCMS 1、扫描目录有www.zip，下载得到源码。 整个题目的功能如下： index.php页面验证登陆，可以任意账号登陆到upload.php上传页面，但是只有admin账号才能进行文件上传。 访问了upload.php·，就会在沙盒下生成一个.htaccess文件，内容为：lolololol, i control all。 上传文件后，会返回文件的存储路径，view details可以...
稀疏匹配和稠密匹配
干啥啥不行，但是也要干的博客
04-20 6657
学习双目视觉总是对一些概念模糊不清，例如稀疏匹配和稠密匹配，今天来总结一下。 稀疏匹配 基于特征（点、线）的匹配称作稀疏匹配。 在立体图像对中识别兴趣点而后在两幅图像中匹配相对应的点。 识别兴趣点 在图像中具有很大变化的区域内寻找兴趣点 在以某一点为中心的窗函数中，计算其在不同方向上的变化量 为避免将多个相邻点选为同一特征对应的兴趣点，将特征点选在兴趣测度函数具有局部最大值的地方。 稀疏匹配特...
CVPR2020论文分方向整理之检测篇_3D目标检测（代码/论文解读/136篇打包下载）
热门推荐
胭脂草的ABC博客
08-06 1万+
CVPR2020论文分方向整理之检测篇（代码/论文解读/136篇打包下载） 本周三，CVPR官方正式开放下载，极市第一时间将所有论文（共1467篇）进行了下载打包，详情见此处。为了方便大家进一步的学习，我们对这1467篇论文进行了整理，本次分享的是所有检测类论文，并将它们细分为3D目标检测、人脸检测、动作检测、视频目标检测、文本检测、行人检测等方向，同时附上了相关解读和已开源论文的代码，共计149篇，并将其打包，获取方式见文末。 3D目标检测 【1】Learning Deep Network...
a trainable system for object detection
09-17
可训练的目标检测系统是一种基于人工智能技术的系统，它具备了学习和适应环境的能力。目标检测系统的任务是自动地在图像或视频中找到并识别出各种不同类型的物体。 训练该系统的过程一般包括以下几个步骤：首先，收集并标记一组包含不同类别物体的图像或视频样本。然后，使用深度学习技术，例如卷积神经网络（CNN）来训练模型。训练模型的目的是通过大量样本数据来学习各种类别物体的特征和模式。这是一个迭代的过程，通过优化算法，系统不断调整自身的参数，提高对各类物体的准确度和鲁棒性。 训练完成后，该系统可以应用于实际环境中进行目标检测。它能够从输入的图像或视频中自动识别并定位出各类物体。具体的应用领域包括自动驾驶、安防监控、智能机器人等。例如，在自动驾驶领域，目标检测系统能够实时检测道路上的车辆、行人和交通标志，帮助车辆做出相应的决策和规避动作。 因此，可训练的目标检测系统在提高机器视觉和人工智能领域的应用上发挥着重要的作用。随着技术的不断发展和数据量的增加，系统的准确度和性能将会进一步提升，为人们的生产和生活带来更多便利和安全。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值