深度学习 +SLAM:SuperGlue

SuperGlue是一种尝试将特征点匹配和异常点剔除过程端到端深度网络化的算法,旨在改进传统SLAM在纹理不足或视角变化情况下的匹配效果。它采用注意力机制的图神经网络,结合特征点描述子和位置信息,通过Sinkhorn算法解决局部匹配问题,提高了特征匹配的准确性。
摘要由CSDN通过智能技术生成

简介

传统SLAM的流程通常包括如下内容, 特征点提取+描述,特征点匹配 + 异常点去除, 位姿估计。

 在以往前人的工作中,SuperPoint和 D2-Net试图解决特征点检测和描述的问题。而检测之后的匹配通常通过最近邻匹配和异常点剔除的方式完成。最后再完成位姿估计。

而SuperGlue试图将特征点的描述,特征的匹配(异常点的剔除)采用端到端的深度网络实现。这意味着距离实现全栈的DLslam又进了一步。

动机

很多场景,由于纹理特征不足,或者局部特征不具备代表性,特征匹配不能取得很好的效果。如下图棋盘格,采用最近邻和distance ratio后,效果依旧非常糟糕。这个例子想说明的是,即使具备了特征点和描述子,由于视角的变化和纹理特征的缺失。很多时候,我们依旧无法获取好的data association。

算法介绍

问题定义

我们要解决的问题“学习特征匹配”。也可以被解读为,寻找两个特征点集合的最优匹配关系。

该算法输入为:

  • 两张图片
  • 图片上的特征点和描述子(两张图片分别包含m,n个特征点和描述子)

输出为

  • 1
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
深度学习视觉SLAM是一种将深度学习和视觉SLAM相结合的研究方向。视觉SLAM(Simultaneous Localization and Mapping)是一种利用相机或其他传感器来实时构建环境地图并同时定位自身位置的技术。而深度学习是一种机器学习的方法,通过构建和训练深度神经网络模型来解决复杂的视觉和语言处理问题。 深度学习在视觉SLAM中的应用主要有以下几个方面。 首先,深度学习可以用于特征提取和描述子学习。传统的SLAM方法通常依赖于手工设计的特征来进行地图构建和定位,但是手工设计的特征容易受到环境变化的影响,而深度学习可以通过大规模数据的训练来学习具有不变性和鲁棒性的特征表示,从而提高SLAM系统的鲁棒性和稳定性。 其次,深度学习可以用于位姿估计和地图优化。传统的SLAM方法通常使用基于滤波器或图优化的方法来估计相机的位姿,并利用位姿估计结果来进行地图的更新和优化。而深度学习可以通过训练神经网络模型来预测相机的位姿,从而提高位姿估计的准确性和实时性。 此外,深度学习还可以用于SLAM系统的场景理解和物体识别。传统的SLAM方法通常只对环境进行地图构建和定位,而深度学习可以通过训练神经网络模型来实现对场景中物体的检测和识别,从而实现对环境的更加深入的理解。 总之,深度学习视觉SLAM是一项将深度学习与传统视觉SLAM相结合的研究方向,可以通过利用深度学习的强大能力来提高SLAM系统的鲁棒性、稳定性、准确性和实时性,并实现对环境的更加深入的理解。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值