来源:3D视觉工坊
在公众号「3D视觉工坊」后台,回复「原论文」可获取论文pdf
添加微信:dddvision,备注:三维重建,拉你入群。文末附行业细分群
0. 笔者个人体会
基于学习的特征匹配分为先提取点再匹配,还有Detector-free两类,前者以SuperPoint+SuperGlue为代表,后者则长期被LoFTR统治,但两种方法对于大尺度匹配效果都不太好。
今天笔者将为大家分享CVPR 2023的开源工作ASTR,提出了一种新的注意力机制( spot-guided attention )来保持特征匹配的局部一致性,同时通过计算深度信息来应对大尺度变化。
下面一起来阅读一下这项工作,文末附论文和代码链接~
1. 这篇文章希望解决什么问题?
核心问题:以前基于Transformer的特征匹配器都忽略了局部一致性。
举个例子,在参考图像上采样两个相似的邻近点,与当前图像计算交叉注意力,会发现要么匹配了很多不相关区域(Linear注意力),要么两个相似点产生的热力图完全不一样(Vanilla注意力)。这样的情况也就导致了匹配结果存在特别多的误匹配。这里也推荐工坊推出的新课程《基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]》。
![83ba7cd8262b1e38275162bfe42d1dd9.png](https://i-blog.csdnimg.cn/blog_migrate/718ceca994fd4d1805865bb2a88c41fb.png)
那么怎么解决呢?
现有方案大多是由粗到精的Transformer,细化过程在一个固定大小的窗口内进行,但如果尺度变化较大的话,正确匹配结果可能就已经不在这个小窗口了。
而ASTR这篇文章,就希望将尺度不变性引入由粗到精的优化中,来解决这个问题。
2. 具体原理是什么?
为了对局部匹配一致性进行建模,作者设计了一种由粗到精的框架,来引入局部一致性和尺度变化的自适应点引导Transformer( Adaptive Spot- Guided Transformer,ASTR )。
具体思想是,用点引导注意力避免在特征聚合过程中干扰无关区域,保持局部一致性;用自适应缩放来在细化阶段根据计算的深度信息来调整网格大小,处理大尺度变化。
![d12eb75c303457ca0ff726ef27157b74.png](https://i-blog.csdnimg.cn/blog_migrate/92c67462253a0bc51f1952c0bfa46830.png)
3. 和其他SOTA方法对比如何?
ASTR在各种任务上的定量精度都超过了Detector-based方法和Detector-free方法。
![0c5068c5530e3662b02210d0a69bd643.png](https://i-blog.csdnimg.cn/blog_migrate/39c6f11217bf93cf8992225cda833ec4.png)
定性对比,展示ASTR提出的注意力机制可以避免无关区域的匹配,更好得适应大尺度变化。
![b39eee5bc381972942d37f1088fbbcab.png](https://i-blog.csdnimg.cn/blog_migrate/06267ec4a8d89bafb98b9e5fd4e4592c.png)
特征匹配效果对比,对比方案包括LoFTR(CVPR 2021)和Matchformer(ACCV 2022),匹配精度有了很大提升。这里也推荐工坊推出的新课程《基于深度学习的三维重建MVSNet系列 [论文+源码+应用+科研]》。
![37f511ee855f2837e1ddff0ef9bab002.png](https://i-blog.csdnimg.cn/blog_migrate/f8d661571a5d65877a41020dc8d642b9.png)
对更多实验结果和文章细节感兴趣的读者,可以阅读一下论文原文~
4. 论文信息
标题:Adaptive Spot-Guided Transformer for Consistent Local Feature Matching
作者:Jiahuan Yu, Jiahao Chang, Jianfeng He, Tianzhu Zhang, Feng Wu
机构:中国科学技术大学
来源:CVPR 2023
原文链接:https://arxiv.org/abs/2303.16624
代码链接:https://github.com/ASTR2023/ASTR
官方主页:https://astr2023.github.io/
我是泡椒味的口香糖,专注于CV和SLAM领域。这里有最新的前沿理论,有大佬答疑解惑,还有全网最全的免费视频课程!如果你也是一个人在孤独地摸索学习,那就欢迎扫码加入我们,一起交流学习~
![49f292093749b90e17febe28c5b552d2.png](https://i-blog.csdnimg.cn/blog_migrate/e2236f7844f282509efe2f189f1a63f4.png)
下载1
在公众号「3D视觉工坊」后台,回复「3d001」,即可获取工业3D视觉(结构光、缺陷检测、三维点云)、SLAM(视觉/激光SLAM)、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文。
下载2
在公众号「3D视觉工坊」后台,回复「3d002」,即可获取巴塞罗那自治大学3D视觉课件、慕尼黑工业大学3D视觉和视觉导航精品课件。
下载3
在公众号「3D视觉工坊」后台,回复「3d003」,即可获取相机标定、结构光、三维重建、激光-视觉-IMU-GPS多模态融合SLAM、LOAM、ORB-SLAM3,深度估计、模型部署、3D目标检测等学习课件。注:非完整版。
高效学习3D视觉三部曲
第一步 加入行业交流群,保持技术的先进性
目前工坊已经建立了3D视觉方向多个社群,包括SLAM
、工业3D视觉
、自动驾驶
、三维重建
、无人机
方向,细分群包括:
[工业3D视觉]
相机标定、立体匹配、三维点云、结构光(面/线/散斑)、机械臂抓取(2D/3D)、2D缺陷检测、3D缺陷检测、6D位姿估计、相位偏折术、Halcon、光场重建、摄影测量、阵列相机、偏振三维测量、光度立体视觉、激光雷达、综合群等。
[SLAM]
视觉SLAM、激光SLAM、ORB-SLAM、Vins-Fusion、LOAM/LeGo-LOAM、cartographer、VIO、语义SLAM、滤波算法、多传感器融合、多传感器标定、MSCKF、动态SLAM、MOT SLAM、NeRF SLAM、FAST-LIO、LVI-SAM、LIO-SAM、事件相机/GPS/RTK/UWB/IMU/码盘/TOF(iToF/dToF)/激光雷达/气压计/毫米波雷达/RGB-D相机/超声波等、机器人导航、综合群等。
[自动驾驶]
深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪、综合群等。
[三维重建]
NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等
[无人机]
四旋翼建模、无人机飞控等
除了这些,还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群
大家可以添加小助理微信: dddvisiona,备注:加群+方向+学校|公司, 小助理会拉你入群。
![22903ae0298f3fd45eac0f8ae302848e.jpeg](https://i-blog.csdnimg.cn/blog_migrate/f6c30876fa592f699933801fa0fff9da.jpeg)
第二步 3D视觉从入门到精通系统课程
目前3D视觉工坊平台针对各个方向的知识点,打造了多门从理论到实战课程,包括:
论文写作课程
:三维科研基础入门课程
:C++、Linux、相机标定、ROS2、dToF工业3D视觉课程
:面结构光、线结构光、散斑结构光、相位偏折术、机械臂抓取、三维点云(PCL和Open3D)、缺陷检测SLAM课程
:LeGo-LOAM、LOAM、LVI-SAM(激光-视觉-IMU-GPS融合SLAM)、Vins-Fusion、ORB-SLAM3、室内/室外激光SLAM等机器人路径规划与控制课程
:机器人规控入门与实践三维重建课程
:comlap、MVSNet等自动驾驶课程
:多传感器标定、视觉Transformer、单目深度估计、3D目标检测、模型部署等。
注:工坊现面向平台所有读者招募主讲老师,奖励丰厚,具体详情可以可以参考:3D视觉主讲老师招募
![2a90859e82530bdb10d05cfb7ca4cd7c.png](https://i-blog.csdnimg.cn/blog_migrate/6a58130248280682bfc1cbf7c84dbc67.png)
第三步 加入知识星球,问题及时得到解答
「3D视觉从入门到精通」知识星球,依托于微信公众号「3D视觉工坊」、「计算机视觉工坊」、「3DCV」平台,星球内除了包含3D视觉独家秘制视频课程(近20门,包括三维重建
、三维点云
、手眼标定
、相机标定
、3D目标检测
、深度估计
、ORB-SLAM3
、Vins-Fusion
、激光-视觉-IMU-GPS融合
、机械臂抓取
等)、3D视觉项目对接
、3D视觉学习路线
、最新论文&代码分享
、入门书籍推荐
、源码汇总
、最新行业模组分享
、编程基础&作业
、求职招聘&面经&面试题
等,更有各类大厂的算法工程人员进行技术指导。目前星球铁杆粉丝已近6000+,让我们一起探索更其妙的3D视觉技术、为祖国的创新发展贡献自己的一份力。知识星球入口:3D视觉从入门到精通
![e400b14c4872375d81e86574c43856d7.png](https://i-blog.csdnimg.cn/blog_migrate/8aef109394db645c4da2603ef7c2823c.png)