《论文阅读》Generalizing to the Open World: Deep Visual Odometry with Online Adaptation

最新推荐文章于 2024-06-04 17:23:37 发布
最新推荐文章于 2024-06-04 17:23:37 发布
阅读量702 收藏 4
点赞数
分类专栏： 深度学习 计算机视觉 文章标签： 自动驾驶 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/120367999
版权

留个笔记自用

Generalizing to the Open World: Deep Visual Odometry with Online Adaptation

做什么

Monocular Visual Odometry单目视觉里程计
在这里插入图片描述
相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出两帧之间的运动信息（旋转矩阵R和平移t）。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。

做了什么

在这里插入图片描述
由于不同数据集之间存在域的差异性，这里推出一个场景无关的视觉里程计结构，方法从光流和深度来解决位姿，而单视图深度估计通过在线学习的不确定性随着新的观察而不断改进

怎么做

在这里插入图片描述
整体结构分为三个部分，FlowNet光流部分，DepthNet深度部分，Refine强化部分
整体流程是这样的，首先输入是两帧图像，关键帧Ik和当前帧It，FlowNet初始化两帧光流图，并预测一张Photometric uncertainty光流不确定图，也就是一个光流置信mask，然后利用FlowNet得到的光流图来初始化两帧图像之间的对应关系，得到相对位姿转换T。
DepthNet也一样，估计关键帧的深度图和深度不确定图，利用贝叶斯框架更新这张深度图，这里需要用到FlowNet提供的信息，是这个Densified depth Patch，后面会解释，这个是一个三角形三角剖分模块。
最后，使用优化的深度D和光流F作为伪label来进行两个Net网络的监督
接下来是具体细节部分
首先是第一部分FlowNet部分
在这里插入图片描述
这里用的baseline是《RAFT: Recurrent All-Pairs Field Transforms for Optical Flow》论文中的结构，一篇光流的best paper，太顶了
在这里插入图片描述
这里就用这个结构来计算两帧图像的光流图，但由于这里的光流误差会直接大程度影响位姿初始化，比如存在一些运动较小的情况，所以这里加了一层限制
在这里插入图片描述
这里的F就是Flownet生成的光流图，这里是一个计算新关键帧的方案，也就是为了防止遇到前面那种运动较小的情况，如果满足这两个阈值限制，就将新的帧转换为关键帧
然后就是利用光流得到图像上点的对应关系，通过RANSAC求解得到相对位姿转换T
在这里插入图片描述
这里的K是相机内参，然后再解决一种可能存在的非常小的平移或者纯旋转情况，这里采用了最小化重投影误差
在这里插入图片描述
这里的Dk是深度图
至此，通过对齐得到了尺度合理的初始位姿转换T，这也就是里程计任务目标，接下来是对这个进行强化
第二部分，DepthNet部分
这里在统一的贝叶斯框架下对深度估计和更新进行建模，初始化深度图的方法很简单，首先对单帧来说，每个点的深度视为其像素值的倒数
在这里插入图片描述
将好的逆深度测量值建模为围绕真值的高斯分布，而不好的逆深度视为观测噪声，然后初始化这个点的内联概率
在这里插入图片描述
这里的T2就是好测量的方差
为了寻找每帧的Zi的最大后验概率，这里是用Beta分布和高斯分布进行近似
在这里插入图片描述
这里的ai是bi是beta分布的参数，u和σ是好观测的高斯分布的均值和方差
最后，得到深度图
在这里插入图片描述
关键帧的深度通过单张图像估计和逆深度的不确定度来进行初始化
至此，得到深度图
然后是强化部分，前面得到了相对位姿转换T和2D图的对应关系，后续就可以使用这两者来优化深度图
在这里插入图片描述
dis是距离函数，表示di和相机光线L的距离，这个相机光线是由2D对应得到的，这里的d就是深度值，光线就是前面图中的对应线
在这里插入图片描述
这里的Triangulated depth patches是对每个深度点做3×3patch的局部统一结果
最后是对这些进行误差优化，也就是损失定义
在这里插入图片描述
首先是光流误差，这里的Γt是光流不确定图，可以理解作为一个正则项，It是当前帧的图像，It^是对原图进行改变的结果
在这里插入图片描述
可以理解成通过位姿转换T深度D相机内参K来进行转换，理论上如果光度完全相同的话，转换结果应大程度上接近，所以设定了这个LOSS，配合光度不确定图来进行光度检测，然后用高斯-牛顿层来进行优化
在这里插入图片描述
这里就是计算逐点的光度损失
在这里插入图片描述
然后计算D和T的一阶导数
在这里插入图片描述
估算增量
然后是正则损失Lsmooth
在这里插入图片描述
这里的G可以指代深度图，也可以指代光流图
然后是深度损失Ld
在这里插入图片描述
这里的σ是深度不确定图，µi是更新后的深度值z’
最后是光流损失Lflow
在这里插入图片描述
这里的F就是光流图
最后将所有LOSS相加，优化depthNet和FlowNet
在这里插入图片描述

效果

在这里插入图片描述
这里是用Cityscapes数据集进行训练，然后再KITTI Odometry数据集进行测试，可见的是保持了相当高的鲁棒性

总结

1.可以理解成一个域适应的VO框架，现在感觉这个领域非常缺少feature+regression的做法，可能是这种做法要求的精度特别高而不适用，光流的这种借鉴做法值得学习

未知丶丶
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
CVPR2021：推广到开放世界的在线自适应深度视觉里程计
3D视觉工坊
04-02 382
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达Generalizing to the Open World Deep Visual Odometry with Online Ada...
Generalizing to the Open World: Deep Visual Odometry with Online Adaptation
kebijuelun的博客
01-08 595
Paper name Generalizing to the Open World: Deep Visual Odometry with Online Adaptation Paper Reading Note URL: https://openaccess.thecvf.com/content/CVPR2021/papers/Li_Generalizing_to_the_Open_World_Deep_Visual_Odometry_With_Online_CVPR_2021_paper.pdf TL;
实验笔记之——DPVO（Deep Patch Visual Odometry）
最新发布
gwpscut的博客
06-04 770
本博文记录本文测试DPVO的过程，本博文仅供本人学习记录用~
论文阅读 [TPAMI-2022] Deep Visual Odometry With Adaptive Memory
weixin_42155685的博客
04-10 424
论文阅读 [TPAMI-2022] Deep Visual Odometry With Adaptive Memory 论文搜索(studyai.com) 搜索论文: Deep Visual Odometry With Adaptive Memory 搜索论文: http://www.studyai.com/search/whole-site/?q=Deep+Visual+Odometry+With+Adaptive+Memory 关键字(Keywords) Cameras; Task analysis;
Generalizing to Unseen Domains A Survey on Domain Generalization
09-23
这篇名为"Generalizing to Unseen Domains A Survey on Domain Generalization"的综述论文深入探讨了这一主题，旨在总结和理解目前域泛化的研究成果，并为未来的研究提供指导。 域泛化的核心挑战在于，机器学习模型...
Generalizing the Gerchberg–Saxton algorithm for retrieving complex optical transmission matrices
02-22
which retrieves phase information from the measured intensities on two related planes (the source plane and the target plane), has been widely adopted in a variety of applications when holographic ...
Generalizing the Nonlocal-Means to super resolution reconstruction
09-12
超分辨率的一种方法，是通用的非局部均值，很好的值得学习的一篇文献
论文研究-Learning Compact Translation Model by Composing-Based Phrase Extraction.pdf
08-16
使用组合短语抽取方法构造精简翻译模型，李强，肖桐，在基于短语的统计机器翻译系统中,传统的短语对抽取方法启发的抽取所有与词对齐保持一致的短语对。本文提出了一种基于组合的短语��
zole:CVPR论文的演示代码“缩放和学习
04-27
如果您认为此回购对您的工作有用，请引用我们的论文： @inproceedings{pang2018zoom, title = {Zoom and Learn: Generalizing Deep Stereo Matching to Novel Domains}, author = {Pang, Jiahao and Sun, Wenxiu ...
Deep_Visual_Inertial_Odometry:视觉惯性测深的深度学习
05-19
深度视觉惯性里程表 基于深度学习的视觉惯性里程计项目。 优点： 轻巧的CNN结构。 没有RNN->更轻。 使用指数映射将图像与惯性数据一起训练。 旋转来自外部姿态估计。 没有RNN，只有卡尔曼滤波器：用于帧到帧位移的加速度和图像融合。 缺点： 无位置校正：位置漂移：但是SLAM可以校正位置drfit。 请引用： 李鸿运，James W. Gregory，Matthew McCrink和Alper Yilmaz。 “用于视觉惯性里程表的深度学习：单眼相机自我运动及其不确定性的估计”，俄亥俄州立大学，硕士论文， ：//rave.ohiolink.edu/etdc/view？acc_num = osu156331321922759 参考文献（当前和将来） 请看纸。 用法： git clone-递归 将.m（Matlab）文件放在KITTI / odom / dataset
DREAMPlace:启用深度学习工具包的VLSI放置
05-09
梦幻广场 启用了深度学习工具包的VLSI放置。 与非线性VLSI放置和深度学习训练问题之间的类比，该工具与深度学习工具包一起开发，以提高灵活性和效率。 该工具可在CPU和GPU上运行。 使用Nvidia Tesla V100 GPU，在ISPD 2005竞赛基准测试的全球排名和合法化方面，其CPU实现（ ）的速度提高了30X以上。 DREAMPlace还集成了GPU加速的详细布局器与CPU上广泛采用的顺序器相比，该布局可以在百万大小的基准上实现约16X加速。 DREAMPlace可在CPU和GPU上运行。 如果将其安装在没有GPU的计算机上，则只有多线程支持CPU支​​持。 动画片 大蓝4 密度图 电位 电场 参考流程 刊物 ，Shounak达尔，，豪兴仁，Brucek Khailany和，“DREAMPlace：深度学习工具包启用GPU加速现代VLSI布局”，ACM / IEE
每天一篇论文 275/365 SGANVO: Unsupervised Deep Visual Odometry and Depth Estimation with Stacked Generativ
流浪机器人的博客
11-30 684
SGANVO:堆叠GAN无监督深度视觉里程计和深度估计 本文提出一种GAN堆叠网络，进行深度和Ego-motion预测 ，个人认为，增加了网络层数，多次预测，增加了深度估计效果，其他的操作都是常规操作，但是产生了可以说是惊人的效果，说明大网络才是硬道理。八十层，和八百层网络的区别。 摘要 最近，端到端的无监督深度学习方法在视觉深度和自我运动估计任务中显示出令人印象深刻的性能。这些基于数据的学习方法...
面向开放世界的深度学习
weixin_43572595的博客
04-06 752
Motivation 尽管深度学习已经在各大数据集上有优异表现，但在实际动态变化的世界里，这些预先学习了数据集知识的模型却难以适应多变、未知。最近，已经有一些学者意识到了这个重要问题。本文将增量式记录目前科学界对于开放世界学习问题的一些成果，以便学习、查阅。 论文列表 1. 面向开放世界的目标检测 Towards Open World Object Detection（CVPR2021）： 论文：https://arxiv.org/pdf/2103.02603.pdf 代码：https://github.
Beyond Tracking：Selecting Memory and Refining Poses for Deep Visual Odometry学习笔记
qq_36635888的博客
04-05 504
Beyond Tracking：Selecting Memory and Refining Poses for Deep Visual Odometry学习笔记 论文链接：https://arxiv.org/abs/1904.01892 主要模块：encoder、tracking、remembering（memory）、refining 整体结构： encoder： 输入RGB图像序列，C...
DPVO：深度patch视觉里程计（arXiv 2022）
3D视觉工坊
10-20 2217
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨泡泡机器人来源丨泡泡机器人SLAM标题: Deep Patch VisualOdometry作者：Zachary Teed, Lahav Lipson, Jia Deng来源：arXiv 2022编译：cristin审核: zhh摘要 大家好，今天为大家带来的文章:Deep Patch VisualOdometry我们提出了一种新...
Deep and Direct Visual SLAM 深度、直接法SLAM
weixin_46410936的博客
07-11 502
Daniel Cremers 关于深度网络和直接法SLAM的报告演讲，演讲时间2021年10月。这次展示主要探讨了三个主题：直接法SLAM的介绍和优势及应用；使用深度网络从单张图片中估计深度并应用于单目视觉SLAM，端到端地估计两帧间位姿等信息；单目稠密重构。其介绍的大部分内容来自主讲人课题组的文章，在文末已经列出。...
Few-Shot Learning综述
09-27
小样本学习（Few-shot Learning）综述是一篇名为《Generalizing from a Few Examples: A Survey on Few-Shot Learning》的文章。这篇综述包含了166篇参考文献，由赵凯琳、靳小龙和王元卓在《软件学报》上发表。该综述介绍了小样本学习的概念、研究状况和应用领域。它主要关注如何从有限的样本中进行泛化学习，以克服传统机器学习中对大量样本的依赖。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值