《论文阅读》Generalizing to the Open World: Deep Visual Odometry with Online Adaptation

最新推荐文章于 2024-07-08 09:09:22 发布
最新推荐文章于 2024-07-08 09:09:22 发布
阅读量754 收藏 4
点赞数 1
分类专栏： 深度学习 计算机视觉 文章标签： 自动驾驶 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/120367999
版权

留个笔记自用

Generalizing to the Open World: Deep Visual Odometry with Online Adaptation

做什么

Monocular Visual Odometry单目视觉里程计
在这里插入图片描述
相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出两帧之间的运动信息（旋转矩阵R和平移t）。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。

做了什么

在这里插入图片描述
由于不同数据集之间存在域的差异性，这里推出一个场景无关的视觉里程计结构，方法从光流和深度来解决位姿，而单视图深度估计通过在线学习的不确定性随着新的观察而不断改进

怎么做

在这里插入图片描述
整体结构分为三个部分，FlowNet光流部分，DepthNet深度部分，Refine强化部分
整体流程是这样的，首先输入是两帧图像，关键帧Ik和当前帧It，FlowNet初始化两帧光流图，并预测一张Photometric uncertainty光流不确定图，也就是一个光流置信mask，然后利用FlowNet得到的光流图来初始化两帧图像之间的对应关系，得到相对位姿转换T。
DepthNet也一样，估计关键帧的深度图和深度不确定图，利用贝叶斯框架更新这张深度图，这里需要用到FlowNet提供的信息，是这个Densified depth Patch，后面会解释，这个是一个三角形三角剖分模块。
最后，使用优化的深度D和光流F作为伪label来进行两个Net网络的监督
接下来是具体细节部分
首先是第一部分FlowNet部分
在这里插入图片描述
这里用的baseline是《RAFT: Recurrent All-Pairs Field Transforms for Optical Flow》论文中的结构，一篇光流的best paper，太顶了
在这里插入图片描述
这里就用这个结构来计算两帧图像的光流图，但由于这里的光流误差会直接大程度影响位姿初始化，比如存在一些运动较小的情况，所以这里加了一层限制
在这里插入图片描述
这里的F就是Flownet生成的光流图，这里是一个计算新关键帧的方案，也就是为了防止遇到前面那种运动较小的情况，如果满足这两个阈值限制，就将新的帧转换为关键帧
然后就是利用光流得到图像上点的对应关系，通过RANSAC求解得到相对位姿转换T
在这里插入图片描述
这里的K是相机内参，然后再解决一种可能存在的非常小的平移或者纯旋转情况，这里采用了最小化重投影误差
在这里插入图片描述
这里的Dk是深度图
至此，通过对齐得到了尺度合理的初始位姿转换T，这也就是里程计任务目标，接下来是对这个进行强化
第二部分，DepthNet部分
这里在统一的贝叶斯框架下对深度估计和更新进行建模，初始化深度图的方法很简单，首先对单帧来说，每个点的深度视为其像素值的倒数
在这里插入图片描述
将好的逆深度测量值建模为围绕真值的高斯分布，而不好的逆深度视为观测噪声，然后初始化这个点的内联概率
在这里插入图片描述
这里的T2就是好测量的方差
为了寻找每帧的Zi的最大后验概率，这里是用Beta分布和高斯分布进行近似
在这里插入图片描述
这里的ai是bi是beta分布的参数，u和σ是好观测的高斯分布的均值和方差
最后，得到深度图
在这里插入图片描述
关键帧的深度通过单张图像估计和逆深度的不确定度来进行初始化
至此，得到深度图
然后是强化部分，前面得到了相对位姿转换T和2D图的对应关系，后续就可以使用这两者来优化深度图
在这里插入图片描述
dis是距离函数，表示di和相机光线L的距离，这个相机光线是由2D对应得到的，这里的d就是深度值，光线就是前面图中的对应线
在这里插入图片描述
这里的Triangulated depth patches是对每个深度点做3×3patch的局部统一结果
最后是对这些进行误差优化，也就是损失定义
在这里插入图片描述
首先是光流误差，这里的Γt是光流不确定图，可以理解作为一个正则项，It是当前帧的图像，It^是对原图进行改变的结果
在这里插入图片描述
可以理解成通过位姿转换T深度D相机内参K来进行转换，理论上如果光度完全相同的话，转换结果应大程度上接近，所以设定了这个LOSS，配合光度不确定图来进行光度检测，然后用高斯-牛顿层来进行优化
在这里插入图片描述
这里就是计算逐点的光度损失
在这里插入图片描述
然后计算D和T的一阶导数
在这里插入图片描述
估算增量
然后是正则损失Lsmooth
在这里插入图片描述
这里的G可以指代深度图，也可以指代光流图
然后是深度损失Ld
在这里插入图片描述
这里的σ是深度不确定图，µi是更新后的深度值z’
最后是光流损失Lflow
在这里插入图片描述
这里的F就是光流图
最后将所有LOSS相加，优化depthNet和FlowNet
在这里插入图片描述

效果

在这里插入图片描述
这里是用Cityscapes数据集进行训练，然后再KITTI Odometry数据集进行测试，可见的是保持了相当高的鲁棒性

总结

1.可以理解成一个域适应的VO框架，现在感觉这个领域非常缺少feature+regression的做法，可能是这种做法要求的精度特别高而不适用，光流的这种借鉴做法值得学习

未知丶丶
关注
专栏目录
Generalizing to Unseen Domains A Survey on Domain Generalization
09-23
这篇名为"Generalizing to Unseen Domains A Survey on Domain Generalization"的综述论文深入探讨了这一主题，旨在总结和理解目前域泛化的研究成果，并为未来的研究提供指导。 域泛化的核心挑战在于，机器学习模型...
DPVO：深度patch视觉里程计（arXiv 2022）
3D视觉工坊
10-20 2747
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达作者丨泡泡机器人来源丨泡泡机器人SLAM标题: Deep Patch VisualOdometry作者：Zachary Teed, Lahav Lipson, Jia Deng来源：arXiv 2022编译：cristin审核: zhh摘要 大家好，今天为大家带来的文章:Deep Patch VisualOdometry我们提出了一种新...
实验笔记之——DPVO（Deep Patch Visual Odometry）
gwpscut的博客
06-04 1298
本博文记录本文测试DPVO的过程，本博文仅供本人学习记录用~
D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
qq_22751305的博客
09-11 481
论文地址：https://arxiv.org/pdf/2003.01060.pdf 参考文献：https://blog.csdn.net/qq_26623879/article/details/104889488
Generalizing to the Open World: Deep Visual Odometry with Online Adaptation
kebijuelun的博客
01-08 630
Paper name Generalizing to the Open World: Deep Visual Odometry with Online Adaptation Paper Reading Note URL: https://openaccess.thecvf.com/content/CVPR2021/papers/Li_Generalizing_to_the_Open_World_Deep_Visual_Odometry_With_Online_CVPR_2021_paper.pdf TL;
Deep Patch Visual Odometry
最新发布
weixin_42762536的博客
07-08 227
注意Track的建立的过程，可以人为随机选取一些稀疏的patch，用这些稀疏的patch和上一帧去匹配（类似预raft）
Generalizing the Gerchberg–Saxton algorithm for retrieving complex optical transmission matrices
02-22
which retrieves phase information from the measured intensities on two related planes (the source plane and the target plane), has been widely adopted in a variety of applications when holographic ...
Generalizing the Nonlocal-Means to super resolution reconstruction
09-12
### 非局部均值法在超分辨率重建中的应用与扩展 #### 一、引言 超分辨率（Super-Resolution, SR）重建技术旨在通过融合多张低质量图像来生成一张高质量、更高光学分辨率的结果图像。传统超分辨率技术通常依赖于...
zole:CVPR论文的演示代码“缩放和学习
04-27
如果您认为此回购对您的工作有用，请引用我们的论文： @inproceedings{pang2018zoom, title = {Zoom and Learn: Generalizing Deep Stereo Matching to Novel Domains}, author = {Pang, Jiahao and Sun, Wenxiu ...
Deep_Visual_Inertial_Odometry:视觉惯性测深的深度学习
05-19
深度视觉惯性里程表 基于深度学习的视觉惯性里程计项目。 优点： 轻巧的CNN结构。 没有RNN->更轻。 使用指数映射将图像与惯性数据一起训练。 旋转来自外部姿态估计。 没有RNN，只有卡尔曼滤波器：用于帧到帧位移的加速度和图像融合。 缺点： 无位置校正：位置漂移：但是SLAM可以校正位置drfit。 请引用： 李鸿运，James W. Gregory，Matthew McCrink和Alper Yilmaz。 “用于视觉惯性里程表的深度学习：单眼相机自我运动及其不确定性的估计”，俄亥俄州立大学，硕士论文， ：//rave.ohiolink.edu/etdc/view？acc_num = osu156331321922759 参考文献（当前和将来） 请看纸。 用法： git clone-递归 将.m（Matlab）文件放在KITTI / odom / dataset
DREAMPlace:启用深度学习工具包的VLSI放置
05-09
梦幻广场 启用了深度学习工具包的VLSI放置。 与非线性VLSI放置和深度学习训练问题之间的类比，该工具与深度学习工具包一起开发，以提高灵活性和效率。 该工具可在CPU和GPU上运行。 使用Nvidia Tesla V100 GPU，在ISPD 2005竞赛基准测试的全球排名和合法化方面，其CPU实现（ ）的速度提高了30X以上。 DREAMPlace还集成了GPU加速的详细布局器与CPU上广泛采用的顺序器相比，该布局可以在百万大小的基准上实现约16X加速。 DREAMPlace可在CPU和GPU上运行。 如果将其安装在没有GPU的计算机上，则只有多线程支持CPU支​​持。 动画片 大蓝4 密度图 电位 电场 参考流程 刊物 ，Shounak达尔，，豪兴仁，Brucek Khailany和，“DREAMPlace：深度学习工具包启用GPU加速现代VLSI布局”，ACM / IEE
Visual Odometry技术 （Of VSLAM)
hyjcde的博客
06-30 796
Visual Odometry技术 （Of VSLAM)
CVPR2021：推广到开放世界的在线自适应深度视觉里程计
limingmin2020的博客
02-22 211
这篇论文中，提出一个用于深度VO的在线自适应网络。与基于学习的位姿估计不同，论文的苏阿女法从深度和光流中解算出位姿，同时通过在线学习新观测的不确定性不断提高单证图像的深度估计。
面向开放世界的深度学习
weixin_43572595的博客
04-06 861
Motivation 尽管深度学习已经在各大数据集上有优异表现，但在实际动态变化的世界里，这些预先学习了数据集知识的模型却难以适应多变、未知。最近，已经有一些学者意识到了这个重要问题。本文将增量式记录目前科学界对于开放世界学习问题的一些成果，以便学习、查阅。 论文列表 1. 面向开放世界的目标检测 Towards Open World Object Detection（CVPR2021）： 论文：https://arxiv.org/pdf/2103.02603.pdf 代码：https://github.
《论文阅读》D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
未知丶的博客
09-03 886
留个笔记自用 D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry 做什么 Monocular Visual Odometry单目视觉里程计 相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出
论文阅读 [TPAMI-2022] Deep Visual Odometry With Adaptive Memory
weixin_42155685的博客
04-10 485
论文阅读 [TPAMI-2022] Deep Visual Odometry With Adaptive Memory 论文搜索(studyai.com) 搜索论文: Deep Visual Odometry With Adaptive Memory 搜索论文: http://www.studyai.com/search/whole-site/?q=Deep+Visual+Odometry+With+Adaptive+Memory 关键字(Keywords) Cameras; Task analysis;
论文笔记：Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection
yh1216212882的博客
01-10 963
说在前面：本人是个菜鸡，纯菜鸡，以下我的理解绝对会有错误，欢迎指正共同进步！文章题目：Efficient Deep Visual and Inertial Odometry with Adaptive Visual Modality Selection论文代码。
商汤发布象棋机器人『元萝卜』；『南瓜书』西瓜书公式推导&解析；代码自动美化插件；Tock建立对话机器人的AI平台；前沿论文 | ShowMeAI资讯日报
ShowMeAI研究中心
08-17 9348
ShowMeAI资讯日报 08-17 期，商汤发布AI下棋机器人『元萝卜』、TweetNLP 分析/理解推文的NLP工具包、Spoor 微软·应用程序的性能分析工具、Tock 用于建立对话机器人的AI平台、Jupyter Notebooks 代码自动美化插件、文本数据分析·高级可视化教程、『南瓜书』西瓜书的公式解析及推导细节、微软·计算机视觉最佳实践合辑、前沿论文…点击获取全部资讯...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值