稀疏纹理也能匹配 LoFTR: Detector-Free Local Feature Matching with Transformers

最新推荐文章于 2024-03-09 16:48:12 发布
最新推荐文章于 2024-03-09 16:48:12 发布
阅读量3.1k 收藏 3
点赞数
分类专栏： 算法+医学图像处理文献阅读解析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chongnannan/article/details/115704912
版权

LoFTR: Detector-Free Local Feature Matching with Transformers

浙江大学
Authors：Jiaming Sun1,2∗ Zehong Shen1∗ Yuang Wang1∗ Hujun Bao1 Xiaowei Zhou1†
Code：https://zju3dv.github.io/loftr/
location: 202104 Transformer

Abstract

提出了一种新的局部图像特征匹配方法。提出先在粗层次(Coarse)上建立像素级密集匹配，然后在细层次上细化(reFine)好的匹配。[并非按顺序进行图像特征检测、描述和匹配。]
在Transformer中使用自注意层和交叉注意层（Self and Cross attention layers）来获取基于两幅图像的特征描述符。Transformer提供的全局感受野(receptive field)使本方法能够在低纹理区域产生密集匹配（dense matches）。

网络架构

在这里插入图片描述
全网络分为四部分࿱

了解本专栏 订阅专栏 解锁全文 超级会员免费看
HelloWorld__来都来了
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
LoFTR:“ LoFTR的代码
04-07
@article{sun2021loftr, title={{LoFTR}: Detector-Free Local Feature Matching with Transformers}, author={Sun, Jiaming and Shen, Zehong and Wang, Yuang and Bao, Hujun and Zhou, Xiao
论文笔记：LoFTR: Detector-Free Local Feature Matching with Transformers
qq_37516798的博客
02-18 6649
摘要：detect-free, 没有检测特征点，模型直接输出匹配对，利用transformer的全局注意力，可以较好的对低纹理图片和相似区域进行匹配 方法： 1.使用resnet+FPN提取分辨率为 1/8的粗略特征图以及 1/2的精细特征图 2.Positional Encoding 3. 输入至粗特征提取transformer1提取匹配特征：包含自注意力和交叉注意力：Self-attention and Cross-attention Layers 4. 粗级别的匹配，使用乘积的方式先计算所有位置的匹
LoFTR: Detector-Free Local Feature Matching with Transformers
胭脂草的ABC博客
10-29 1827
本文提出了一种新的局部图像特征匹配方法。首先在粗粒度上建立图像特征的检测、描述和匹配，然后在精粒度别上细化亚像素级别的密集匹配，而不是依次执行图像特征检测、描述和匹配。与使用cost volume来搜索对应关系的密集方法相比，本文借鉴Transformer使用了自注意层和互注意层来获得两幅图像的特征描述符。这种方法提供的全局接受域使得能够在纹理较少的区域产生密集匹配。
【项目整理】SuperGlue和LoFTR特征匹配RKNN部署
最新发布
KLeinLAN的博客
03-09 632
因整理简历需要，将项目放在博客简单介绍一下。
LoFTR：Detector-Free Local Feature Matching with Transformers
just
12-20 2886
本文提出一种新的图像局部特征匹配方法(关键点匹配)；与传统方法(特征检测-描述符-匹配)不同，本文首先在粗粒度上进行像素级密集匹配然后再细粒度进行优化。本文在Transformer中使用自注意层(self attention layer)和交叉注意层(cross attention layer)来获取两个图像的特征描述符；在室内数据集和室外数据集上实验，表明，LoFTR很大程度上优于现在的方法。现有的匹配方法大多数包含三个阶段：特征检测-特征描述-特征匹配；
LoFTR: Detector-Free Local Feature Matching with Transformers 2021
u010260681的博客
04-20 5506
核心思想：本文的目的是为了解决传统匹配的时候detector不鲁棒的问题，例如下图，上边是本文匹配结果，下边是superglue匹配结果： 可以认为是在superglue上的简单改进 整体pipeline： 如下图所示，整体pipeline分为四个模块： 网络输入两张待匹配的image，输出最终的local feature的匹配结果 1> local feature 和传统的dee...
LoFTR配置运行: Detector-Free Local Feature Matching with Transformers ubuntu18.04 预训练模型分享
weixin_48464886的博客
10-15 4796
刚装好系统的空白系统ubuntu18.04安装，首先进入 软件与更新 换到国内源。 1.anaconda 3.5.3 安装 Index of /anaconda/archive/ | 清华大学开源软件镜像站 | Tsinghua Open Source Mirrorhttps://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 1.1 下载完成后运行安装软件： bash Anaconda3-5.3.0-Linux-x86_64.sh 1.2 ...
matlab如何删除多余代码-Plagiarism-Detector-3000:Plagiarism-Detector-3000
06-16
matlab如何删除多余代码Plagiarism-Detector-3000 背景 抄袭已成为当今社会越来越容易获取信息的问题。 抄袭检查员历来分析文字以寻找相似之处。 代码抄袭的问题在于，您可以通过更改变量名称或添加不会改变代码功能...
vue-device-detector-js:用于客户端设备检测的 vuejs 插件
05-30
vue-device-detector-js vue 包装安装 npm i vue - device - detector - js设置视图 //add code to main.js import device from 'vue-device-detector-js'...Vue . use ( device ). . . 纽斯特 //create device.js ...
device-detector-js：使用TypeScript编写的精确的用户代理解析器和设备检测器
01-30
设备检测器js Device-detector-js是用TypeScript编写的精确的用户代理解析器和设备检测器，并由最大，最新的开源用户代理数据库提供支持。 Device-detector-js将解析任何用户代理，并检测浏览器，操作系统，使用的...
detector-js:用ES6编写的DetectorJS，零依赖平台环境检测器
05-06
import Detector from 'detector-js' ; const detector = new Detector ( 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_3) AppleWebKit/605.1.15 (KHTML, like Gecko) Version/12.0.3 Safari/605.1.15' ) ; ...
论文阅读《LoFTR: Detector-Free Local Feature Matching with Transformers》
薛定谔的猫头咕咕咕
03-27 4951
论文地址：https://arxiv.org/pdf/2104.00680.pdf 代码地址：https://github.com/zju3dv/LoFTR 背景 模型结构 损失函数 实验结果
LoFTR Detector-Free Local Feature Matching with Transformers 环境配置
simle16的博客
10-09 1325
LoFTR: Detector-Free Local Feature Matching with Transformers 环境配置 一、环境配置及文件下载 1.文件下载 源码下载链接：https://zju3dv.github.io/loftr 相关模型下载链接: https://pan.baidu.com/s/1yM91Y4JrRiKJjHQ24ubZKw 密码: 2oc9 2.环境配置 将文件路径切换到解压后的源码文件夹中执行以下命令 # For full pytorch-lightning
（二）特征匹配
小C酱油兵的博客
03-12 1587
特征匹配 　　特征匹配，又可以称之为数据关联。在图像领域中，特征匹配的作用非常大。比如： 在图像拼接中，需要进行特征匹配，方便求出单应矩阵以拼接两幅图像； 在三维重建中，需要进行特征匹配，方便求出变换矩阵以及三角化特征点； 在图像检索中，可以通过特征点在数据库中检索，查找到特征匹配数量最多的识别结果； ... 　　检索部分暂时不提，毕竟涉及到了复杂的数据结构。并且在SLAM中用的并不...
特征点法匹配
Efan_W的博客
08-16 2933
特征点法匹配概念FAST关键点FAST ORB后$\rightarrow$ Oriented FASTBRIEF描述子附Harrix响应值非极大值抑制 在SLAM中VO的实现方法可以根据是否需要提取特征分为两类： 基于特征点的方法 不使用特征点的直接方法。 其中基于特征点的VO运行稳定，对光照、动态物体不敏感。 图像特征点的提取和匹配是计算机视觉中的一个基本问题，在视觉SLAM中就需要首先找到...
局部特征匹配(LoFTR) & 基于全局匹配的光流学习(GMFlow)
Iron_lyk Blog
05-27 5046
局部特征匹配LoFTR与光流匹配GMFlow学习笔记
绘制一对图像匹配点以及图像矫正，Homography，LoFTR
fuyouzhiyi的博客
04-14 1013
用LoFTR模型得到两张图的匹配点（是叫这个术语吧？？） img0 = torch.from_numpy(img0_raw)[None][None].cuda() / 255. img1 = torch.from_numpy(img1_raw)[None][None].cuda() / 255. batch = {'image0': img0, 'image1': img1} # Inference with LoFTR and get prediction with t
在10亿像素图像中发现预后模式 FINDING PROGNOSTIC PATTERNS IN GIGAPIXEL IMAGES
02-22 2368
在10亿像素图像中发现预后模式 1、Advances in AI applying deep learning to digital pathology images can stratify patients by risk. 2、Limitations of Pathologist-Guided Prognostics 3、Capturing Prognostic Patterns with Deep Learning 4、From Hypothesis to Risk Prediction 5、The
most: a multi-oriented scene text detector with localization refinement
04-11
Q: "most: a multi-oriented scene text detector with localization refinement"。 A: "most"是一种多方向场景文本检测器，具有本地化细化功能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HelloWorld__来都来了

来都来了 福寿双全

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值