SOLD2算法详解之1 backbone（CVPR2021 源码解析）

已于 2022-04-27 14:52:21 修改
阅读量1.8k 收藏 4
点赞数
分类专栏： 源码解读系列 文章标签： pytorch 计算机视觉
于 2022-04-01 20:11:28 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/level_code/article/details/123898243
版权

SOLD2是ETH的 Self-supervised Occlusion-aware Line Description and Detection，它是一种多视角的线检测，线匹配算法，可以处理遮挡下的线匹配。

以往特征匹配都是基于点的，比如SIFT，SURF等，而ETH提出了基于线的特征匹配，由于是基于神经网络，所以不需要手动设计特征，而且基于自监督学习，不需要人工标注。

这里先不把重点放在自监督，先看一下如何从视角不同的图像中提取线特征，线检测和匹配，走完整个检测和匹配的流程。

算法流程基于源码和测试样例整理。

测试样例中，input为不同视角的两张[1, 1, 496, 744]的图像。如下

插入图片

以img1为例走一遍流程，它首先会经过名为SOLD2NET的神经网络，得到3个输出&#x

了解本专栏 订阅专栏 解锁全文 超级会员免费看
蓝羽飞鸟
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
SOLD2算法详解之2: 特征点检测，点NMS（CVPR 2021）
蓝羽飞鸟的博客
04-04 898
sold2算法中的特征点检测对应了junction_decoder部分 input的image经过Hourglass net的backbone之后，过一个junction_decoder的小网络， 网络结构如下 conv3x3, s=2, p=1 conv1x1 input image size = [1, C, H, W] junction_decoder output size = [1, 65, H/8, W/8] 这个65是什么意思呢，1～64表示的是8x8 patch内有特征点的位置标1，其余是
SOLD2算法之3: 特征点与heatmap结合检测有效线段（CVPR 2021)
蓝羽飞鸟的博客
04-08 618
input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4] heatmap_decoder用于检测出线段的heatmap 先看heatmap_decoder，它的结构如下 conv 3x3, s=1, p=1 pixelShuffel(2) 这个block出现2次，然后接一个conv 1x1 PixelShuffel起了重要的上采样及改变channel的作用。 backbone net出来的channel=256被两个pixelShuffel(2.
【论文翻译】SOLD2: Self-Supervised Occlusion-Aware Line Description and Detection
EternallyAccompany的博客
03-01 921
论文：http://arxiv.org/abs/2104.03362 代码：https://github.com/cvg/SOLD2
SOLD2:用于特征线检测和描述的联合深度网络
05-14
SOLD²-自我监督的遮挡感知线描述和检测 该存储库包含以下文件的实现： ，JT。 Lin *，R.Pautrat *，V.Larsson，M.Oswald和M.Pollefeys（在CVPR 2021年发表）。 SOLD²是一种深线段检测器和描述符，无需手工标记的线段即可进行训练，即使在存在遮挡的情况下，也可以稳固地匹配线。 演示版 在存在遮挡的情况下进行匹配： 搭配移动相机： 用法 安装 我们建议在Python环境（例如venv或conda）中使用此代码。 以下脚本通过pip安装必要的要求： pip install -r requirements.txt 通过修改文件config/project_config.py设置数据集和实验路径（您将在其中存储数据集和实验的检查点）。 必须同时设置变量DATASET_ROOT和EXP_PATH 。 您可以在下载我们在培训和测试期间使用的
SOLD2：深度学习中的稳健特征检测库
gitblog_00047的博客
04-16 273
SOLD2：深度学习中的稳健特征检测库 项目地址:https://gitcode.com/cvg/SOLD2 SOLD2 是一个开源的Python库，专注于提供一种高效且鲁棒的方法来进行单图像中的3D物体识别和定位。这个项目由苏黎世联邦理工学院计算机视觉小组（CVG）开发，旨在简化深度学习在现实世界应用中的对象检测任务。 技术分析 SOLD2的核心是一个基于深度学习的模型，它能够处理各种光照、遮挡...
【Pytorch论文相关代码】使用SOLD2预训练好的模型检测与匹配线段(自己的数据集)
热门推荐
畅游计算机视觉的海洋
01-18 13万+
文章目录前言使用流程 前言 论文链接：SOLD2: Self-supervised Occlusion-aware Line Description and Detection 论文源码：https://github.com/cvg/SOLD2 使用流程 下载好源码。 安装相关依赖。 下载预训练好的模型文件：sold2_wireframe.tar。github上作者提供的下载链接非常慢，建议使用下面链接下载： 链接：sold2_wireframe.tar ...
SOLD2算法之4: line matching，遮挡问题（CVPR2021 源码解析）
蓝羽飞鸟的博客
04-09 627
当两张图片中都检测到线段之后，就要进行线段的匹配。 回想特征点匹配时，是用描述子descriptor计算距离进行匹配， 直线也是这样。 直线的descriptor是用网络得到的。 input image:[1, 1, H, W]，经过backbone net后为[1, 256, H/4, W/4] descriptor_decoder由conv3x3 (s=1, p=1) 和conv1x1组成 得到的descriptor output为[1, 128, H/4, W/4] 那检测到的线段和这个descri
CVPR 2021 论文和开源代码合集.docx
05-28
1. **Backbone**：基础网络架构是深度学习模型的核心，2021年的论文可能提出了新的网络结构或对现有架构（如ResNet、VGG）的改进，以提高模型的性能和效率。 2. **NAS（神经网络架构搜索）**：自动设计高效的神经...
backbone源码解析
09-25
backbone源码解析,写得非常好,下载了你不后悔
SourceAnalysis_BackboneJS:Backbone.js原始解析-源码解析
03-24
**Backbone.js原始解析——深入理解Backbone.js的源码** Backbone.js是一款轻量级的JavaScript库，它为Web应用程序提供模型-视图-控制器（MVC）架构支持，帮助开发者组织和管理代码，使其更易于维护和扩展。这款...
透过源码学前端 之 Backbone 一
04-20
标题“透过源码学前端 之 Backbone 一”暗示我们将从源码的角度去理解Backbone.js的工作原理。通过阅读和分析源码，我们可以更深入地了解其内部机制，这将对提升我们的前端开发技能大有裨益。 首先，Backbone.js的...
YOLOX-结合YOLOX+SwinTransformer作为Backbone实现的目标检测算法-附预训练权重下载+项目源码
最新发布
05-09
YOLOX（You Only Look Once, eXtreme）是一种基于YOLO系列的高效目标检测算法，它在YOLOv4的基础上进行了优化和改进，旨在提高检测速度和精度。Swin Transformer是Transformer架构在计算机视觉领域的创新应用，通过...
SOLD2
weixin_40647655的博客
06-01 675
SOLD2: Self-supervised Occlusion-aware Line Description and Detection 自监督防遮挡线特征描述和检测 特征点是SFM、SLAM、大规模视觉定位和三地重建等计算机视觉任务总的核心。线特征在现实世界中广泛存在，相比于点特征线特征本身有着方向的属性，这能够提供强有力的几何约束。本文的方法能够检测线段并且能够匹配线段和处理部分遮挡。 经典的方法主要是基于计算梯度和人工设计的滤波器来检测线特征，如今深度学习已经能够实现实时鲁邦的线特征检测，主要的研究
妙啊！不怕遮挡的图像线段匹配 SOLD2，还能联合自监督线段检测｜CVPR2021 Oral
3D视觉工坊
04-25 1516
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨二玖审稿丨邓富城编辑丨极市平台极市导读本文介绍来自苏黎世联邦理工学院和微软的研究者们提出了首个联合检测与描述线段的深度网络：。...
目标检测算法中的Backbone、Neck和Head（转载）
qq_43781887的博客
04-13 2583
基于深度学习的现在目标检测算法中有三个组件：Backbone、Neck和Head，乍一看很让人不理解： Backbone, 译作骨干网络，主要指用于特征提取的，已在大型数据集(例如ImageNet|COCO等)上完成预训练，拥有预训练参数的卷积神经网络，例如：ResNet-50、Darknet53等 Head，译作检测头，主要用于预测目标的种类和位置(bounding boxes) 在Backone和Head之间，会添加一些用于收集不同阶段中特征图的网络层，通常称为Neck。 简而言之，基于深度学习的
Self-Supervised Log Parsing 自监督日志解析
Mark_Australia的博客
02-15 853
自监督日志解析
深度学习框架-Backbone汇总
David's Tweet
01-17 3万+
Backbone—— Neck —— Head 1.Backbone：翻译为骨干网络的意思，既然说是主干网络，就代表其是网络的一部分，那么是哪部分呢？这个主干网络大多时候指的是提取特征的网络，其作用就是提取图片中的信息，共后面的网络使用。这些网络经常使用的是resnet VGG等，而不是我们自己设计的网络，因为这些网络已经证明了在分类等问题上的特征提取能力是很强的。在用这些网络作为backbone的时候，都是直接加载官方已经训练好的模型参数，后面接着我们自己的网络。让网络的这两个部分同时进...
公众号内容拓展学习笔记（2021.4.22）
xiaoxuebajie的博客
04-22 230
公众号内容拓展学习笔记（2021.4.22） ???? 今日要点 妙啊！不怕遮挡的图像线段匹配 SOLD2，还能联合自监督线段检测｜CVPR2021 Oral ⭐️⭐️ 主要内容：首个联合检测与描述线段的深度网络SOLD² paper: SOLD2: Self-supervised Occlusion-aware Line Description and Detection code: https://github.com/cvg/SOLD2 Tips: 主要贡献提出了首个用于联合
yolov1到yolov5算法详解.docx
11-30
YOLOv1是由2016年CVPR论文《You Only Look Once:Unified, Real-Time Object Detection》提出的一种目标检测算法。该算法的核心思想是将输入的图像经过backbone提取特征后，将得到的特征图划分为S x S的网格，然后...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

蓝羽飞鸟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值