![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
相机重定位
文章平均质量分 80
phy12321
2019年入学研究生在读
展开
-
【综述】相机重定位综述
第一作者:Yoli Shavit,Ron Ferens研究机构: Toga Networks (华为,以色列)这篇论文将现有的相机位姿估计方法根据实现原理分为两个大类,基本涵盖了大部分关键方法,有助于入门相机位姿估计这一研究方向。论文解决的问题论文回顾总结了基于深度学习的相机绝对位姿估计方法,并描述了该领域的关键方法,并确定了未来的发展趋势,即改进原始深度位姿回归解。提供了一些基于学习的位姿估计方法的交叉对比实验,以及重现代码时的的实用tricks.最后,讨论了新的解决方案和潜在的未来研究.原创 2020-06-04 23:23:00 · 5984 阅读 · 0 评论 -
Estimation with Fast Feature Selection in Robot Visual Navigation
IEEE ROBOTICS AND AUTOMATION LETTERS, 2020本文方法与基于贪心算法的特征选择方案性能相近,但是其时间复杂度为线性,而贪心算法时间复杂度O(n2),对于特征数目较多,成百上千的情况,本文算法能够实时。...原创 2022-01-04 20:30:11 · 857 阅读 · 0 评论 -
【论文笔记】视觉重定位 PixLoc || Back to the Feature: Learning Robust Camera Localization from Pixels to Pose
本文提出了基于metric learning 的视觉重定位方法,PixLoc。只需要给定一张查询图像和场景的三维模型,以及具有先验位姿的参考图像,即可进行重定位。这种将模型参数与场景几何分离开来的度量学习方法,使得PixLoc能够轻易的泛化到任意场景中。视觉定位可以被分为三步:估计场景中的大致位姿提取鲁棒不变的特征回归精确的位姿估计值或者场景坐标估计值其中步骤1,2不受限于某一特定场景,通过图像检索可以解决1,现有的CNN可以提取鲁棒的特征,解决了2。目前步骤3,即位姿估计是通过经典几何方法完原创 2021-10-09 17:10:24 · 4838 阅读 · 9 评论 -
【论文笔记】Fine-Grained Segmentation Networks: Self-Supervised Segmentation for Improved Long-Term Visual
针对视觉定位的语义分割网络, ICCV 2019论文工作的动机:using more segmentation labels to create more discriminative, yet still robust, representations for semantic visual localization本文主要针对Long-term的视觉定位任务,提出了一个精细化分割网络,可以对场景进行精细化fine-grained的分割,得到相比于现有语义分割网络的分.原创 2021-09-20 22:32:15 · 822 阅读 · 0 评论 -
条件网络层 介绍与脉络梳理:A Retrospective for “FiLM- Visual Reasoning with a General Conditioning Layer“
网址链接在很多多输入任务中,例如 visual question-answering (image + language), instruction-following (video + language), class-conditional image generation (image + class label), style transfer (style image + context image)等,需要根据多种输入特征来进行预测。本文主要介绍一种可以嵌入到CNN模型中的通用网络层,即.原创 2021-09-19 15:06:50 · 3922 阅读 · 3 评论 -
[论文笔记]端到端视觉定位 DA4AD: End-to-End Deep Attention-based Visual Localization for Autonomous Driving 2020
百度自动驾驶部门注意力机制在视觉重定位任务中的应用,端到端网络,可用于明显外观变化的场景,cm级精度,优于基于激光雷达的定位方法。本文使用CNN以及注意力机制训练描述子与关键点,与数据库图像做匹配然后解算相机位姿。构建特征金字塔,使用全卷积网络 独立 提取密集特征。构建定位地图: attentive keypoints + features + 3D coordinates, 3D 坐标来自于激光雷达根据先验位姿找到附近的三维点,在先验位姿附近多次采样,根据这些位姿将三维点投影到当前图像中进.原创 2021-09-14 22:16:32 · 1577 阅读 · 0 评论 -
b站 史雪松:室内机器人系统的长期视觉定位与建图 简单记录
视频链接室内机器人系统的长期视觉定位与建图主要面临的问题包括:缺乏长期采集的数据以及真值,环境随时间的变化,多机协作等。作者对于以上问题提出的解决方案有:缺乏数据:发布了室内多传感器数据集 openLORIS-scene, 以及室内外长期激光数据集。针对环境变化:提出DXSLAM:现有基于深度学习成果的集大成者(利用superpoint替换orb, 利用hfnet做定位)提出RaP-Net:在图像中的静态稳定区域提取关键点。多机协作:A collaborative visual sl原创 2021-08-02 22:49:09 · 747 阅读 · 0 评论 -
【论文调研】用于无人机定位的特征 :UAV Localization in GNSS-Denied Environments, Based on Matching of Numeric
BRM Localization:UAV Localization in GNSS-Denied Environments, Based on Matching of Numerical Map and UAV Images 2020韩国大田科技大学城市机器人实验室2D到2D的匹配,只需要提前对地图中的建筑物区域进行分割,并计算building radio。不需要初始位姿也可以进行全局定位(实验测试了2.2km×2.6km范围内进行全局定位)仅仅使用了building原创 2021-04-29 21:17:36 · 1532 阅读 · 0 评论 -
【论文阅读】无人机定位方法调研 A review on absolute visual localization for UAV 2021
RVL(relative visual localization)即帧到帧的匹配。包括VO和slam.VO、VIO: 光流法slam: 相比VO,增加了闭环检测和全局BA的特性,没有闭环的情况下就退化成了VORVL的主要问题是累计漂移,长距离航行需要漂移误差有界,而RVL解决不了这个问题。AVL(absolute visual localization)AVL的主要目标是根据无人机当前的观测,在地图中进行匹配,从而在地图中对自身位置进行定位。现有的地图有两种:包括卫星地图和自行采集的地图原创 2021-04-29 21:13:31 · 2866 阅读 · 0 评论 -
【论文笔记】2019 基于激光点云pole检测的重定位方法 Long-Term Urban Vehicle Localization Using Pole Landmarks
https://github.com/acschaefer/polex本文提出了一个基于激光三维点云的二维车辆定位系统,其根据道路场景中的 “pole landmarks” (极点/柱状目标,即交通灯杆,树,灯箱等)来进行定位。这不是首个提出该类定位方法的工作,却是首个同时考虑了 “laser ray endpoints” 以及 “the free space in between the laser sensor and the endpoints” 的工作。在进行重定位时作者使用粒子滤波的方式.原创 2021-02-23 22:17:20 · 2108 阅读 · 0 评论 -
【论文笔记】匹配关系未知情况下点云配准Solving the Blind Perspective-n-Point ProblemEnd-To-End With Robust Differentiabl
澳大利亚国立大学,澳大利亚机器人视觉中心本文解决的问题:BLind Perspective-n-Point(BPnP)与Perspective-n-Point(PnP) 问题的区别在于PnP是已知2D与3D点之间的匹配关系的,而BPnP问题只有给定的2D点集和3D点集。因此BPnP需要额外求解一个匹配关系矩阵。论文使用深度声明层将RANSAC结合到BPnP求解网络中,提出了第一个完全端到端可训练网路来解决BPnP问题什么是深度声明层?应该是在《deep declarative networ.原创 2020-08-20 21:13:38 · 2322 阅读 · 1 评论 -
【论文笔记 】视觉重定位 GN-Net: The Gauss-Newton Loss for Multi-Weather Relocalization 2019
作者:Lukas von Stumberg, Patrick Wenzel, Qadeer Khan, Daniel Cremers机构: 慕尼黑工业大学, Artisense链接: https://vision.in.tum.de/gn-net本文将定位问题分解为两个步骤:在构建好的地图中寻找与当前图像最接近的图像追踪其相对位姿本文解决的问题是第二个步骤,即relocalization tracking 问题。作者提出了一个图像特征提取网络,该网络提取的特征图可以替代直接SLAM中的.原创 2020-08-16 21:09:45 · 1031 阅读 · 0 评论 -
【论文笔记 】视觉重定位 ViPR: Visual-Odometry-aided Pose Regression for 6DoF Camera Localization CVPR 2020
德国纽伦堡夫琅和费集成电路研究所,德国纽伦堡大学,德国慕尼黑路德维希-马克西米利安大学本文提出了VIPR,一个使用视觉里程计辅助进行重定位的网络,并提出了一个可用于相机重定位和视觉里程计评估的高精度工业数据集。如果把本文看成是Posenet基础上的改进,那么可以将VIPR的结构描述为:将Posenet改进为使用三张连续图象为输入,输入对应的三个绝对位姿,作为对真实位姿的逼近。在此基础上使用相对位姿信息辅助预测:四张连续图象构成三个图像对,使用FlowNet2.0提取其对应的光流信息,然后用级联.原创 2020-08-16 17:24:14 · 797 阅读 · 0 评论 -
【论文笔记 视觉重定位 Relative Geometry-Aware Siamese Neural Networkfor 6DOF Camera Relocalization 2019
英国诺丁汉大学本文设计了一个孪生神经网络,其以图像对为输入,网络的每一支各输出一个绝对位姿估计,以及共同预测一个相对位姿。除了常见的绝对位姿损失函数之外,作者还设计了三个基于相对位姿数据的损失函数项。网络的两支时共享权重特征的。在测试时,选择网络的任意一支对图像进行位姿估计即可可以看出网络的backbone式ResNet50,输出的特征图分别被GPRU和RPRU模块作为输入。GPRU:global pose regression unit一个1024的全连接层,然后接了两个3和4 的全连接层.原创 2020-08-15 22:24:42 · 585 阅读 · 0 评论 -
【论文笔记】视觉重定位 场景坐标回归 Camera Relocalization by Exploiting Multi-View Constraints 2019
研究机构:阿德莱德大学本文提出了基于场景坐标回归网络的相机重定位方法,在DSAC++的基础上显式的引入了多视角几何约束,其实就是在训练阶段使用图像对作为输入,并重新设计了三个损失函数,和DSAC++的重投影误差结合,加快了训练的收敛速度,且在室内外数据集上达到了优于DSAC++(无3Dmodel)的精度,但是仍然劣于DSAC++(有3Dmodel)。论文方法 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20200814221303248.png?x-oss-.原创 2020-08-14 22:13:48 · 1005 阅读 · 0 评论 -
【论文笔记】视觉重定位 场景坐标回归 Efficient multi-output scene coordinate prediction 2020
巴黎中央理工这是一篇混合方法,使用重新设计的CNN网络提取patches的特征,然后输入到回归森林对patches的中心点像素坐标进行预测,得到多个3D坐标,选择置信度最高的一个作为预测,由此得到2D-3D对应关系。最后根据Pnp和RANSAC求解相机位姿论文方法1.patch选择和对应标签制作使用patch可以过滤掉与场景无关的位置(天空、墙壁等),去除噪声可以减少RANSAC的工作量进而加快运行速度。本文只取以SURF特征点为中心的49X49的区域作为patch输入。对应中心点的3.原创 2020-08-14 12:23:20 · 854 阅读 · 0 评论 -
【论文笔记】基于图神经网络的多视角视觉重定位 GRNet CVPR 2020 论文笔记
* 本文提出了一种使用多视角图像进行相机重定位的图神经网络。* 该网络可以使得不连续帧之间进行信息传递,相比于只能在相邻前后帧之间进行信息传递的 **序列输入**和**LTSM**,其能捕获更多视角信息以进行重定位。因此LSTM只是一种GNN的特殊情况。* 为了让GNN能适应于重定位任务,作者重新设计了节点、边、嵌入函数,使用CNN和GNN分别用于特征提取和知识传播。* 设计了一个通用的基于图的损失函数,超越了原来的连续视角约束,引入了多视角约束原创 2020-08-13 21:34:54 · 1300 阅读 · 1 评论 -
【论文笔记】特征点匹配网络 SuperGlue: Learning Feature Matching with Graph Neural Networks 2019 论文笔记
SuperGlue: Learning Feature Matching with Graph Neural Networks 2019 论文笔记Magic Leap, ETH Zurich提出了特征点匹配网络SuperGlue,寻找两幅图像局部特征点之间的对应关系的神经网络,该网络使用图神经网络预测损失。搭配super point在室内外重定位任务中达到SOTA的精度。论文方法:首先输入图像对记为A,B,各包含了关键点和局部描述子,因此是集合形式{(p,d)}p=(x,y,c)是关键点,原创 2020-08-11 20:52:45 · 2758 阅读 · 0 评论 -
【论文笔记】视觉重定位 层级场景坐标回归 Hierarchical Scene Coordinate Classification and Regression 2020
芬兰阿尔托大学 , Facebook AI Research这篇论文的工作应该是在DSAC++ 的基础上改的,且仅仅对其场景坐标回归网络进行了改进。在大场景中也是SOTA,同时模型足够紧凑,解决了模型尺寸和容量的问题。未来可以考虑综合其他模块的改进进一步提升性能(如RANSAC模块,使用DSAC++的自适应RANSAC,或NG-RANSAC)。 本文针对的问题DSAC++中,使用一个场景坐标回归网络对像素点对应的场景坐标进行稠密预测,然后使用pnp-RANSAC求解出相机位姿。本文认为DSAC+.原创 2020-08-10 17:25:09 · 1404 阅读 · 4 评论 -
【论文笔记】回归本质矩阵的视觉重定位 EMR: Visual Localization from Essential Matrices && 2020
通讯作者: Laura Leal-Taix ́e第一作者:Qunjie Zhou研究机构:慕尼黑工业大学,查尔默斯理工大学,微软EMR证明了估计本质矩阵是比直接预测场景坐标更好的选择。理论上来说,相对位姿回归相比于绝对位姿回归应当有更好的跨场景泛化性,但是实验结果证明并非如此。作者通过实验探究发现,基于深度学习的场景坐标回归方法之所以泛化性差是因为位姿回归层输入的的高层级特征损失了定位精度,不利于精确的定位。论文解决的问题本文提出了基于传统特征方法进行相对位姿定位的框架,并达到了SOTA。在..原创 2020-06-23 16:03:21 · 1421 阅读 · 2 评论 -
【论文笔记】开放场景下的实时视觉重定位方法 HF-Net && 2019
作者:Paul-Edouard Sarlin1 Cesar Cadena1 Roland Siegwart1 Marcin Dymczyk研究机构:苏黎世联邦理工学院,Sevensense RoboticsHF-Net在设计之初就将实时性纳入考量,整个系统可以在1080Ti上达到20fps的速度的同时达到可观的精度。论文解决的问题本文提出了混合结构定位方法HF-Net( Hierarchical Feature Network),首先对查询图片进行全局检索,然后根据检所得到的图片进行局部特征匹..原创 2020-06-11 00:48:46 · 5318 阅读 · 8 评论 -
【论文笔记】基于语义地图重建的视觉重定位方法 VISUAL LOCALIZATION USING SPARSE SEMANTIC 3D MAP && 2019
作者:Tianxin Shi⋆†Shuhan Shen⋆†Xiang Gao⋆†Lingjie Zhu研究机构:中科院自动化所,中国科学院大学自己的想法:本文使用图像检索、SFM进行3D建模、语义分割、RANSAC求解等技术提出了一个相机定位的混合pipeline,达到了SOTA的性能论文提到目前可用的数据集有NLCT,KITTI,RobotCar Seasons dataset等。论文方法介绍之所以使用语义信息,是因为语义信息基本不受光照、气候、季节等因素的干扰。论文提出的定位pip..原创 2020-06-09 17:20:32 · 1837 阅读 · 2 评论 -
【论文笔记】辅助学习的视觉重定位 VLocNet++ && 2018
作者:Noha Radwan∗Abhinav Valada∗Wolfram Burgard研究机构:德国弗莱堡大学论文解决的问题本文解决了语义分割+相机重定位+视觉里程计VO三个任务。相机重定位指的是绝对位姿预测,VO则是相对位姿预测。本文还发布了一个用于定位的数据集DEEPLOC dataset.多任务学习模型的好处是可以提高模型的泛化性,不需要大量的标签数据,且一次计算完成了多个任务,效率高。本文基于VLocNet,提出了一种自适应的加权方法,能够利用运动特定时间信息(motion-sp..原创 2020-06-09 12:52:13 · 1388 阅读 · 1 评论 -
【论文笔记】视觉重定位 场景坐标回归 DSAC++ 2018
作者: Eric Brachmann and Carsten Rother机构:海德堡大学 视觉学习实验室本文基于DSAC模型,提出了DSAC++ , 证明了相比于 学习 相机定位 pipeline 的所有组件,只学习其中的一种会更加高效。DSAC++就是这样一个 将可学习的组件结合到定位 pipeline 中,组成的端到端学习系统。DSAC有三个问题:对位姿假说进行评分的CNN模块很容易过拟合。因为它可以记住全局的共识模式,以区分优劣假说。 例如,CNN可能会专注于图像中出现误差的位置,..原创 2020-06-08 12:23:41 · 1871 阅读 · 3 评论 -
【论文笔记】视觉重定位&里程计 DGRNets &2018
作者: Yimin Lin1, Zhaoxiang Liu1, Jianfeng Huang1Chaopeng Wang1, Guoguang Du1, Jinqiang Bai2,Shiguo Lian1, Bill Huang1研究机构:cloudmind、北航这是一个辅助学习的相机位姿估计模型,以序列数据为输入,同时预测相对位姿和绝对位姿。因此除了可以作为相机位姿估计器之外,还可以解决VO(视觉里程计)任务。在视觉里程计任务中,由于还预测了相机的绝对位姿,因此可以避免累计误差带来的漂移。..原创 2020-06-06 13:23:55 · 912 阅读 · 2 评论 -
【论文笔记】视觉重定位 DSAC – Differentiable RANSAC for Camera Localization && CVPR 2017
通讯作者:Carsten Rother第一作者:Eric Brachmann研究机构:德累斯顿工业大学,微软代码地址:DSAC自己的想法:随机森林的思想在很多需要解决歧义性和多解的问题中出现,如果一个预测器没法分辨出相似的两种情况,那就训练多个预测器。论文解决的问题解决了RANSAC方法不可微因而无法应用到深度学习中的问题。首先介绍下RANSAC:该算法用于将模型拟合到一组存在噪声的数据上的任务,已经有多种RANSAC的变种被提出,这里只介绍基础版本。通过对数据的最小子集进行采样..原创 2020-05-16 22:09:02 · 3765 阅读 · 0 评论 -
Understanding the Limitations of CNN-based Absolute Camera Pose Regression 2019 论文笔记
瑞典查尔姆斯理工大学、慕尼黑工业大学摘要传统的视觉定位问题的解决方案是基于3D几何的方法,最近主流的方法是基于端到端的卷积神经网络来直接回归相机位姿,但是很难做到像3D几何方法的精度。论文针对这个问题,根据自己提出的理论模型预测了位姿归回技术失败的案例,并通过实验验证了预测。此外,论文模型表明,位姿回归与基于图像检索的位姿逼近更加相关(相比与基于3D几何结构的位姿直接预测)。实验结果表明...原创 2020-05-03 17:46:36 · 929 阅读 · 0 评论 -
PoseNet: A Convolutional Network for Real-Time 6-DOF Camera Relocalization 2015论文笔记
2015年的文章,对比的baseline是基于手工特征的方法,相比之下更为鲁棒。输入为单张RGB图像,模型可端到端训练。室外精度: 2m and 3◦,室内0.5m and 5◦。速度一帧5ms。PoseNet由23层的卷积层构成。原创 2020-04-21 00:08:19 · 1328 阅读 · 0 评论 -
AtLoc: Attention Guided Camera Localization 相机重定位 论文笔记
牛津大学计算机学院 2019.10注意力是个好东西。从Atloc和AtLoc+的实验结果可以看出,自注意力机制对定位精度有大幅提升,时序约束只有略微的提升,但是时序约束增加了输入数据量延长了处理时间,还对传感器提出了更高的要求,相比之下注意力性价比高得多摘要在现有的基于深度学习的相机重定位的方法中,基于单目数据的方法还不够鲁棒。在一些程度上可以通过序列图像或者几何约束来剔除动态物体。...原创 2020-04-19 20:17:20 · 1998 阅读 · 0 评论 -
Kimera: an Open-Source Library for Real-Time Metric-Semantic Localization and Mapping ,2019
Laboratory for In-formation & Decision Systems (LIDS), Massachusetts Institute of Technology, CambridgeKimera was partially funded by the DCISTCollaborative Research Alliance,MIT Lincoln Laborat...原创 2020-03-20 18:14:09 · 5219 阅读 · 4 评论 -
Cooperative Holistic Scene Understanding: Unifying 3D Object, Layout, and Camera Pose Estimation2018
加利福尼亚大学洛杉矶分校, RGB,整体场景理解(目标检测、布局检测、相机位姿预测)总结:以单个RGB图像为输入,提出了一种实时(2.5fps)恢复三维室内场景的端到端模型,包括三维房间布局、相机位姿和目标边界框。引入三维目标框的参数化和二维投影loss,增强了二维与三维的一致性,设计了可微的协同loss,有助于两个主要模块的协同高效训练。以往的三维重建和整体场景理解通过增加一些2D-3...原创 2020-02-22 17:22:32 · 999 阅读 · 2 评论 -
MapNet: An Allocentric Spatial Memory for Mapping Environments 2018 论文笔记
牛津大学,CVPR-2018,建图1.论文摘要论文设计了一个可导、端到端的建图模块,能够将传感器感受到的、相机中心视角的环境信息转化为世界坐标系下的表示,即建图。得到的地图是环境的2.5D表示,存储了深度神经网络模块从RGBD输入中提取的信息。该地图与SFM方法得到的结果不同,包含能够支持多种任务的信息。2.简介 && 相关工作深度学习在以图像为中心的任务中取得了 巨大...原创 2020-02-21 11:26:21 · 1112 阅读 · 1 评论 -
NNnet: Camera Relocalization by Computing Pairwise Relative Poses Using CNN,2017论文
芬兰阿尔托大学,印度德里工业技术学院,相机重定位第一个使用相对位姿信息进行相机视觉重定位的方法。感觉论文中的inlier count的方法与候选投票的思想有点神似,当然这应该也是图像检索领域经常用到的思想。本文核心的贡献在于:模型中使用的是相对位姿,学习到的参数在场景之间可通用的可传递的,最后通过pipeline计算得到绝对位姿。因此训练出的模型可以泛化到unseen的场景中,而不需要提前在...原创 2020-02-17 13:43:28 · 1216 阅读 · 2 评论 -
Bayesian Relational Memory for Semantic Visual Navigation,2019 论文笔记
Bayesian Relational Memory for Semantic Visual Navigation,2019相机重定位,UC伯克利,脸书AI,OpenAI文章提出了一种基于贝叶斯方法的可解释的记忆机制,构建了一个在线拓扑图作为寻找语义目标的智能体导航(例如找到厨房)。导航时,智能体将定期识别新的房间,并在它们变得足够确定时将新房间添加到其不断增长的关系图中。整体更新机制很符...原创 2020-02-13 14:03:04 · 554 阅读 · 1 评论 -
CamNet: Coarse-to-Fine Retrieval for Camera Re-Localization 论文笔记
CamNet: Coarse-to-Fine Retrieval for Camera Re-Localization商汤、香港大学、港中文,RGB相机重定位,2019.61.摘要本文模型针对的是相机重定位任务,基于检索的模型被认为是比较有潜力的方向,因为可以很容易的泛化到其他场景。作者观察到现有方法的瓶颈在于检索模块:这些方法对检索和相关姿势回归任务都使用相同的特征,这对学习有潜在的影...原创 2020-01-09 16:15:34 · 1318 阅读 · 1 评论 -
PoseNet2:Geometric loss functions for camera pose regression with deep learning 论文笔记
PoseNet2:Geometric loss functions for camera pose regression with deep learning剑桥大学 2017.5 相机重定位,indoor, outdoor,RGB,RGBD个人总结:这篇论文是posenet 的损失函数改进版本,但是性能得到了非常大的提升。论文很多细节都讲得非常好,非常详细清晰的说明了为何要选择这种函数...原创 2020-01-14 00:41:34 · 2370 阅读 · 0 评论 -
EMPNet: Neural Localisation and Mapping Using Embedded Memory Points,2019
EMPNet: Neural Localisation and Mapping Using Embedded Memory Points,2019澳大利亚莫纳什大学,定位和建图作者使用CNN作为底层的特征提取器,然后通过计算距离矩阵来进行对应点匹配,然后执行最优化算法,将观测点融合到记忆数据中。但是距离矩阵的计算复杂度是线性的,意味这算法实时性只有在短期记忆时能够的得以保证。总结:作者...原创 2020-02-15 18:28:15 · 324 阅读 · 0 评论