D2-net：A Trainable CNN for Joint Description and Detection of Local Features

最新推荐文章于 2024-10-08 15:26:44 发布
最新推荐文章于 2024-10-08 15:26:44 发布
阅读量348 收藏 4
点赞数 1
文章标签： cnn 深度学习 人工智能 图像处理 论文阅读 Powered by 金山文档
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyk12138/article/details/129692550
版权

CVPR 2019 作者:DI-ENS（巴黎高等师范学校）+Inria（法国国立计算机及自动化研究院）+苏黎世

使用一个网络完成了像素级的稀疏特征点检测和稠密的特征描述任务（detect anddescribe）

Background

目前稀疏局部特征匹配：Detectthen describe（先检测特征点，再以特征点为中心形成局部快完成特征描述）方法效率高，占用的存储空间少。但是通常检测是基于低级的图像信息（例如：结构），因此面临外观变化大情况时，效果不理想。描述时则是基于关键点周围的块（相对较高级的图像信息），当关键点匹配失败时，描述符仍可以匹配成功，因此有许多的方法趋向于弱化关键点检测而加强稠密描述（内存占用增多）。

Superpoint也是用一个网络同时完成了检测和描述，但是superpoint分为两个branch完成，检测和描述相对独立。

图像检索任务也是需要找到对应的图像对，常见的方法：先对图像进项稠密的特征描述后聚合变成图像的特征描述再匹配；在稠密描述阶段的顶端增加注意力描述模块来选择关键点。这些方法都只检测了很少的特征点

目标检测任务在完成了特征提取后，得到一些列局部区域框和得分，再使用非极大值抑制得到置信度最高的框。这个思想与先检测后描述类似。

Motivation

目前的方法不能用一个分支完成检测和描述任务

Idea

用一个分支完成检测和描述

Method

CNN特征提取：VGG16

特征描述：从特征图中得到稠密的特征描述，再归一化

特征检测：论文”Particular objectretrieval with integral max-pooling of cnn activations.“中认为CNN得到的3D张量可以看作是n个2D的相应图，每个相应图对应一个检测器的结果。接下来对得到响应图进行后处理

  • 硬特征检测：对于传统的特征检测DoG，对相应图进行非局部最大抑制稀疏化。本文由于存在多个相应图，因此相当于对每个像素在多个响应图上选取最好的结果，并在该响应图上确定是否为局部最大值

  • 软特征检测：在训练过程中对硬特征检测进行了softened以便于反向传播。首先定义了一个soft local-max. score。其中N是相邻的9个像素

定义了一个软通道选择，计算每个描述子的ratio-to-max，用于模拟每个相应图的非极大抑制

既要考虑是相应图中最大的，也要是局部最大，因此综合计算两个得分的乘积最大值，最终获得单个得分图，再归一化

多尺度检测：

虽然CNN描述符因数据增强的预训练而具有一定程度的尺度不变性，但其对尺度变化并不具有内在不变性，在视角差异显著的情况下匹配往往会失败。因此本文使用了图像金字塔，对于不同分辨率的特征图F，将其resize后相加。将融合得到的图像作为上述步骤的输入完成检测和描述。为了防止特征重新检测，本文从最低分辨率开始检测，标记检测到的位置，上采样到高分辨率后这些被标记的区域不再检测。

训练损失：拓展的tripletmargin ranking loss：最小化对应点的距离，最大化不对应点的距离

正确的匹配对（positive）：L2的范式

错误的匹配对：N1和N2是在正确匹配块之外的其余错误匹配块中最错的匹配（后面处理中，最小的最错匹配最大化）

tripletmargin ranking loss：

最终的损失函数：其中Sc是软检测得分

Experiment

图像匹配 ：HPatches

3D重建：

定位：

lyk12138
关注
时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位（ICCV 2021）
LiRongLu_的博客
07-09 419
关于D2-Net: Weakly-Supervised Action Localization via Discriminative Embeddings and Denoised Activat论文学习，时序动作定位｜D2-Net:基于鉴别嵌入和去噪激活的弱监督动作定位。引入了一种新的损失公式，该公式联合增强了潜在嵌入的可分辨性和输出时序类激活对弱监督引起的前景背景噪声的鲁棒性。提出的公式包括一个判别和去噪损失项，以增强时序作用定位。该判别词引入了分类损失，并利用自顶向下的注意机制来增强潜在前......
计算机视觉系列-YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors
段智华的博客
07-15 265
httpshttpsYOLOv7在5FPS到160FPS范围内的速度和精度达到了新的高度，并在GPUV100上具有30FPS或更高的所有已知实时目标检测器中具有最高的精度56.8%AP。
[论文解读]D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
qq_17732497的博客
04-24 4615
文章链接：https://www.jianshu.com/p/b33c7c9ea2e7 以前好久的论文，这几天整理资料也翻出来了。应该是CVPR19的论文，讲的是同时做出来det和des。特征点定位精度不高，速度也很慢，不过对光照等鲁棒性非常高，如下图所示。 但是这个方法的弱点非常明显，定位精度不高，如下图红色圈出的地方，其实非常低的精度了。 实际上用这个进行重建的实验结果表示还不如SIFT好...
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（CVPR2019）
qq_42250887的博客
05-20 1063
D2-Net 、CVPR2019 监督方法，稀疏匹配，密集匹配 特征点定位精度较差、速度慢，但对光照变化、模糊变化等鲁棒性较高
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
Christo的博客
03-07 989
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features精读
D2-Net: A Trainable CNN for Joint Description and Detection of Local Features(2019)(五)
u010260681的博客
09-02 2553
本文是一个集合detector和descriptor为一体的网络，并且只需要知道匹配就能同时训练一个detector和descriptor的网络 这也是D2的来历 一些思考：1. 一些deeplearning的feature匹配其实在descriptor表现的已经很好了（感受野也比较稳定）， 所以认为瓶颈在detector上，本文主要解决的问题就是这个。 2. descriptor中融合了许多信息，那么...
YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for
04-26
bag-of-freebies 相关工作 实时目标检测器 目前最先进的实时目标检测算法主要基于YOLO和FCOS。 能够成为最先进的实时目标检测器的算法通常需要以下特征： （1）更快更强的网络架构 （2）一种更有效的特征集成方法...
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for object detectors及其PyTorch实现
mingo_敏
07-09 1339
深度学习论文: YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors及其PyTorch实现 YOLOv7: Trainable bag-of-freebies sets new state-of-the-art for real-time object detectors PDF: https://arxiv.org/pdf/2207.02696.pdf PyTorch代码: ht
ECA-Net:深度卷积神经网络的高效通道注意力
冲出仁川，走出马德里，故事还会再继续
08-21 1692
  注意力机制的核心重点就是让网络关注到它更需要关注的地方。当我们使用卷积神经网络去处理图片的时候，我们会更希望卷积神经网络去注意应该注意的地方，而不是什么都关注，我们不可能手动去调节需要注意的地方，这个时候，如何让卷积神经网络去自适应的注意重要的物体变得极为重要。注意力机制就是实现网络自适应注意的一个方式。  注意力机制能够从大量的信息中筛选出重要的信息。在神经网络中引入注意力机制有很多种方法，以卷积神经网络为例，可以在空间维度增加引入注意力机制，也可以在通道维度增加注意力机制（SENet），当然也有
论文笔记：D2-Net: A Trainable CNN for Joint Description and Detection of Local Features
weixin_43199832的博客
03-25 2778
论文链接：https://arxiv.org/pdf/1905.03561.pdf 代码链接：https://github.com/mihaidusmanu/d2-net 主要内容 相比传统的detect-then-describe的方法（先提取关键点，然后在关键点附近提取patch，然后用这些patch产生描述子），本文提出的D2-Net采用describe-and-detect的策略（同时提取描述子和关键点），测试显示D2-Net在困难的数据集（如较大的光照、角度变化等）上可以获得相同甚至更好的性能。
【定位系列论文阅读】D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（上）
weixin_46050242的博客
10-12 771
在这项工作中，我们解决了在困难的成像条件下找到可靠的像素级对应的问题。我们提出了一种方法，其中单个卷积神经网络扮演双重角色:它同时是密集特征描述符和特征检测器通过将检测推迟到较晚的阶段，获得的关键点比基于低级结构早期检测的传统关键点更稳定。我们表明，该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而无需任何进一步的注释。该方法在高难度的亚琛昼夜定位数据集和InLoc室内定位基准上均获得了最先进的性能，在图像匹配和3D重建的其他基准上也具有竞争力。
【论文精读】D2-Net:A Trainable CNN for Joint Description and Detection of Local Features
Prettybritany的博客
11-21 278
但是，情况并非那么简单，因为描述符内的不是所有变量都是"鉴别性"的：两个关键点可能具有小的距离测量，因为它们的描述符内的大多数变量具有相似的值，但是那些变量可能对实际的匹配无关。放弃特征点检测而直接在整张图片上进行稠密的描述子提取“[10, 15, 48, 52].” 这种方法比稀疏特征点匹配“[45, 58, 69],” 显现出更好的匹配结果。传统稀疏特征提取的方法基本上都是先进行特征提取“[7, 19, 29, 31, 33]” ，然后提取描述子“[7, 9, 24, 29, 44]”。
Local Feature Detection and Description
language_zcx的博客
04-22 563
Introduction SuperPoint: Self-supervise Interest Point Detection and Description Abstract MagicPoint 利用简单几何图像的关键点易于提取且定义较为明确的特点来构造简单数据集，并基于此训练简单几何图像兴趣点检测模型MagicPoint。 Homographic Adaptation 作者利用MS-COCO数据集和上述训练的MagicPoint模型，并结合其提出的Homographic Adaptation机
【论文阅读笔记】D2-Net: Dual disentanglement network for brain tumor segmentation with missing modalities
寸先生的AI道路
12-03 1154
这个网络的核心思想是通过两个阶段的解耦来处理多模态磁共振成像（MRI）数据中的脑肿瘤分割问题，特别是在缺少某些成像模态的情况下。😗*ModalityDisentanglementStage(MD-Stage)：**MD-Stage的主要目标是解耦MRI数据中的模态特定信息，使模型能够在缺少某些模态的情况下仍然有效地进行脑肿瘤分割。在频率域中，模型转换模态特定代码经过离散傅里叶变换到频率谱，并进行类似的对比学习，以进一步增强模态特定信息的分离。），这些模态特定代码被转换为肿瘤特定的模态代码。
论文解析三： D2-Net 用于联合描述和检测局部特征的可训练CNN
最新发布
kaszxc的博客
10-08 1009
​解决在困难的成像条件下寻找可靠的像素级对应的问题。​提出一种由单一卷积神经网络发挥双重作用的方法：它同时是一个密集的特征描述符和一个特征检测器。通过将检测推迟到后期阶段，所获得的关键点比基于低层结构早期检测的传统关键点更稳定。我们证明了该模型可以使用从现成的大规模SfM重建中提取的像素对应来训练，而不需要任何进一步的注释。该方法在困难的亚琛昼夜定位数据集和InLoc室内定位基准上都获得了最先进的性能，以及在其他图像匹配和三维重建基准上具有竞争力的性能。
【定位系列论文阅读】D2-Net: A Trainable CNN for Joint Description and Detection of Local Features（下）
weixin_46050242的博客
10-12 199
我们工作背后的主要动机是开发一种能够更好地处理具有挑战性条件的局部特征方法。首先，我们对基于光照或视点变化序列的标准图像匹配任务进行了评估。然后，我们在两个更复杂的计算机视觉管道:三维重建和视觉定位中展示了我们的方法的结果。特别是，视觉定位任务是在极具挑战性的条件下进行评估的，例如根据白天图像生成的三维模型注册夜间图像 [46, 48]，以及在以弱纹理表面和重复结构为主的极具挑战性的室内场景中定位图像 [59]。我们的方法结果的定性例子如图1所示。请参阅补充材料中更多的定性例子。
探索D2-Net：一款强大的3D目标检测框架
gitblog_00046的博客
04-12 473
探索D2-Net：一款强大的3D目标检测框架 d2-net 项目地址: https://gitcode.com/gh_mirrors/d2/d2-net 在这个数字时代，计算机视觉技术已经成为各种应用程序的...
D2-Net（CVPR 2019）特征点检测论文笔记
秋山丶雪绪的博客
11-22 6778
1. 前言 论文地址 代码地址   detect-then-describe：对应 sparse local features，首先通过检测器得到特征点，然后提取特征点周围的 patch 得到描述符。   缺点：差异大的图像对效果不好（昼夜、季节、弱纹理场景）   原因：描述符由较大的区域得到，而特征点由很小区域的低级信息得到（角点等），导致检测的结果不稳定。   作者表示，即使对应的特征点检测不到，但是描述符仍然可以成功匹配，所以放弃检测阶段，而是密集提取描述符，代价是匹配时间和内存消耗。   dete
a trainable system for object detection
09-17
可训练的目标检测系统是一种基于人工智能技术的系统，它具备了学习和适应环境的能力。目标检测系统的任务是自动地在图像或视频中找到并识别出各种不同类型的物体。 训练该系统的过程一般包括以下几个步骤：首先，收集并标记一组包含不同类别物体的图像或视频样本。然后，使用深度学习技术，例如卷积神经网络（CNN）来训练模型。训练模型的目的是通过大量样本数据来学习各种类别物体的特征和模式。这是一个迭代的过程，通过优化算法，系统不断调整自身的参数，提高对各类物体的准确度和鲁棒性。 训练完成后，该系统可以应用于实际环境中进行目标检测。它能够从输入的图像或视频中自动识别并定位出各类物体。具体的应用领域包括自动驾驶、安防监控、智能机器人等。例如，在自动驾驶领域，目标检测系统能够实时检测道路上的车辆、行人和交通标志，帮助车辆做出相应的决策和规避动作。 因此，可训练的目标检测系统在提高机器视觉和人工智能领域的应用上发挥着重要的作用。随着技术的不断发展和数据量的增加，系统的准确度和性能将会进一步提升，为人们的生产和生活带来更多便利和安全。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值