《论文阅读》Deep Online Correction for Monocular Visual Odometry

最新推荐文章于 2021-11-30 16:23:35 发布
最新推荐文章于 2021-11-30 16:23:35 发布
阅读量522 收藏 1
点赞数 2
分类专栏： 深度学习 计算机视觉 文章标签： 计算机视觉 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43310834/article/details/119353644
版权

留个笔记自用

Deep Online Correction for Monocular Visual Odometry

做什么

Monocular Visual Odometry单目视觉里程计
在这里插入图片描述
相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出两帧之间的运动信息（旋转矩阵R和平移t）。这样我们就可以得到一系列的相机相对变化矩阵，从而可以推出相机的姿态信息。

做了什么

在这里插入图片描述
DOC完全依赖深度学习框架，但是不同于在线学习不需要计算神经网络参数的梯度传播，并且能效果较好地实现深度校正

怎么做

在这里插入图片描述
DOC框架的核心思想是通过基于梯度传播最小化光度误差来直接优化相对姿态，不依赖传统框架，只需要计算6自由度姿态的梯度就可以，也就是图上的位姿转换Tii-1也就是第i-1帧到第i帧的位姿转换。
整体框架分为是哪个部分，Depth-CNN深度部分、Pose-CNN位姿部分、Warp校正部分
首先是Depth-CNN部分和Pose-CNN部分
在这里插入图片描述
这里的Depth-CNN和Pose-CNN用的是相似的结构，用的都是Unet类似的结构，前者是endoer-decoder形状的，后者则是encoder后接Linear
Depth-CNN以单帧RGB图像作为输入，输出深度图，Pose-CNN以两帧连续图像作为输入，输出位姿转换
这里说借鉴的方法是Monodepth2，一个点云深度估计网络，也是估计深度和位姿的在这里插入图片描述
至此得到了初始的深度图和位姿转换，接下来就是优化，就是文章的题目Deep Online Correction（DOC深度在线校正框架），也就是框架的第三部分
第三部分warp校正部分提供了两种情况可选，两帧优化和三帧优化
在这里插入图片描述
首先是两帧优化情况
给定两帧图像Ii-1和Ii，通过前面两个部分能得到各自的深度图Di-1和Di，还有两者的位姿转换Tii-1，DOC接下来通过最小化总光度误差来优化
定义在这里插入图片描述
这里EI表示第i步的光度误差，Ei-1i和Eii-1的意思分别是前向误差和反向误差，也就是i-1帧到i帧的误差和i帧到i-1帧的误差，然后定义两个误差为
在这里插入图片描述
两个的构造方式比较相似
这里的Π是一个函数，作用是warp，它输入深度图D，位姿转换T，图像帧I，相机固有属性K，以这些合成一个新的视图I’’
在这里插入图片描述
这里说这个函数在经典论文《Spatial Transformer Networks》中有用到过，但其实我并没有找到
然后是EPHO
在这里插入图片描述
这里的意思就是根据两张图像得到它们的光度误差，跟前面的总光度误差不一样，这里是分至于向前和向后的图像间的光度误差，I就是图片帧
然后是定义Mstd
在这里插入图片描述
这里的含义就是一个离群点剥离器，E-是平均，Eσ是标准差，两者都是针对E的，代入前面也就是两个图像，前面的做法是将两张图直接相减，这里的意思就是在差度图上所有点求一个平均和标准差，去掉一些不合理的利群点
回到最开始的式子
在这里插入图片描述
至此得到了 ◦符号后面的所有结果
然后是前面的M，这里就是一个mask的作用，是由两种mask组成的，一个是occlusion mask遮挡Mo，一个是explainability mask解释Me，大M是由这两个M直接相乘得到，也就是在这里插入图片描述
首先是遮挡Mask
在这里插入图片描述
这里又用到了前面的那个函数Π，也就是得到一张新的视图，区别是后面的图像帧输入也换成了上一帧的深度图，这里意思就是用这种阈值D的方式去除一些不合理的遮挡情况
然后是解释Mask，这里没给出公式，但有提到是通过CNN也就是前面的那俩部分得到的
最后总结一下这两个mask的作用
在这里插入图片描述
遮挡Mask在图一和图二中有展示，能较好的去掉由遮挡产生的两个明显同一个的交通棒，然后是解释性误差，这些能减少屋顶和植被这种高频光度误差
至此得到了前后误差，也就是第i帧的光度误差，有了这个误差就可以用优化器去进行优化了
然后是第二种情况，三帧优化情况
也就是输入是前中后三帧图像作为输入，这里也是一样设计了一个总能量误差
在这里插入图片描述
显然这里的设计方式跟前面两帧的前后光度误差是类似的
在这里插入图片描述
这就是整个DOC框架的过程了，整体输入是图片序列I，希望输出是优化位姿T，第一步就是通过前两个部分Pose-CNN和Depth-CNN得到深度D和初始位姿转换T，然后开始进行一个优化工作，通过函数Π将I-1图像帧转换到i帧上，计算一个向前光度误差，然后反过来计算一个向后光度误差，相加得到总误差后用Adam去进行前面初始位姿的优化
在这里插入图片描述

总结

1.不仅是用自监督的方式训练网络，而且构造的这个在线校正模块不更新网络参数，仅做位姿优化，这个会更高效
2.整体来说这种初始化再优化的思路可以参考，并且可以在warp部分做改进，达到一种循环迭代的效果

未知丶丶
关注
  • 2
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
On-Manifold Preintegration for Real-Time Visual-Inertial Odometry.pdf
04-06
Abstract: Current approaches for visual-inertial odometry (VIO) are able to attain highly accurate state estimation via nonlinear optimization. However, real-time optimization quickly becomes ...
Phase noise correction for OFDM signal based on DCT approach and variational inference
02-09
Phase noise correction for OFDM signal based on DCT approach and variational inference
《论文阅读》D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry
未知丶的博客
09-03 806
留个笔记自用 D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular Visual Odometry 做什么 Monocular Visual Odometry单目视觉里程计 相机在运动过程中连续两帧之间会存在overlap，即会同时观测到三维世界中的某些场景以及特征点。而这些场景特征点会投射到2D图片上，通过图片的对齐或者特征的匹配，可以找到前后图片上特点或patch的对应关系。利用相机的成像几何模型（包括相机参数）以及约束，可以求出
2021 SLAM会议论文汇总
wwtx的博客
11-30 7177
1.ICRA2021 语义定位与建图： Visual Semantic Localization Based on HD Map for Autonomous Vehicles in Urban Scenarios RoadMap: A Light-Weight Semantic Map for Visual Localization towards Autonomous Driving Road Mapping and Localization Using Sparse Semantic Visual F
每天一篇论文342/365 Self-Supervised Deep Pose Corrections for Robust Visual Odometry
流浪机器人的博客
03-12 611
Self-Supervised Deep Pose Corrections for Robust Visual Odometry Code 摘要 提出了一种自监督的深度位姿校正（DPC）网络，该网络将位姿校正应用于视觉里程计估计器以提高其精度。我们没有直接回归帧间姿态变化，而是在先前工作的基础上，使用数据驱动的学习来回归姿态修正，该修正解释了由于违反建模假设而导致的系统误差。我们的自监督公式消除了...
Self-Supervised Deep Pose Corrections for Robust Visual Odometry(2020.2)
sky的博客
07-22 485
代码：https://github.com/utiasSTARS/ss-dpc-net 摘要： 提出一个自监督的deep pose correction (DPC)网络，对估计的VO进行姿态修复。我们没有对帧间的位姿变换直接进行估计，而是基于之前工作基础上也就是使用data-driven 学习来回归位姿校正，主要矫正的是由于违背模型假设造成的系统误差。本文没有使用6维位姿的ground-truth进行训练，甚至有时候超过了监督训练。 1.介绍 准确的自身定位对于可靠的自主移动（mobile a...
研究生论文阅读总结
qq_42251342的博客
01-11 2493
UWB与协同定位UWBUltra-Wideband Aided Fast Localization and Mapping SystemIntegrated UWB-Vision Approach for Autonomous Docking of UAVs in GPS-denied EnvironmentsRobust Target-relative Localization with Ultra-Wideband Ranging and CommunicationAn Ultra-Wideband-b
ICRA 2021| SLAM方向论文汇总
3D视觉工坊
05-17 3903
作者丨wanghy@知乎来源丨https://zhuanlan.zhihu.com/p/371744210编辑丨3D视觉工坊最近扫读了下ICRA 2021 SLAM方向相关的文章，由于总结...
【ECCV2020】接收论文列表part1
TomRen
07-18 6612
ECCV2020 接收论文完整列表 看论文学CV
ICRA 2021自动驾驶相关论文汇总 | 科研党看过来，全文干货
3D视觉工坊
07-01 4882
本文来源：知乎作者：wanghy，编辑：智车科技/导读/ICRA（International Conference on Robotics and Automation）是IEEE机...
Matlab routines for online non-rigid motion correction of calciu
最新发布
07-24
标题中的"Matlab routines for online non-rigid motion correction of calcium imaging data"指的是使用Matlab编写的程序，用于实时校正钙成像数据的非刚体运动。钙成像是一种生物成像技术，常用于观察神经元活动，...
Evaluation on correction factor for in-line X-ray phase contrast Computed Tomography
02-19
对X射线同轴相衬CT成像的修正因子的评估研究，金明理，黄志峰，X射线同轴相衬CT成像是一种非常有效的无损检测手段，它借助第三代同步光源，可以得到高精度、高对比度的低Z的样品的三维折射率分�
论文研究-Article Errors Correction Based on Imbalanced Data Learning.pdf
08-22
基于类别不平衡学习的冠词错误改正，陈亮宇，周德宇，围绕英文文本经常出现的冠词语法错误问题,本文提出了一个基于分类器的语法错误更正算法。由于当前标注冠词错误的训练数据量非常��
《论文阅读》Point Transformer
未知丶的博客
02-14 8478
留个笔记自用 Point Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 怎么做 总结 ...
《论文阅读》AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS
未知丶的博客
03-11 5948
留个笔记自用 AXIAL ATTENTION IN MULTIDIMENSIONAL TRANSFORMERS 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 这里又是一种trans
《论文阅读》PCT: Point Cloud Transformer
未知丶的博客
02-19 4217
留个笔记自用 PCT: Point Cloud Transformer 做什么 点云的概念：点云是在同一空间参考系下表达目标空间分布和目标表面特性的海量点集合，在获取物体表面每个采样点的空间坐标后，得到的是点的集合，称之为“点云”（Point Cloud）。 点包含了丰富的信息，包括三维坐标X，Y，Z、颜色、分类值、强度值、时间等等，不一一列举。 一般的3D点云都是使用深度传感器扫描得到的，可以简单理解为相比2维点，点云是3D的采样 做了什么 跟另外一篇Point transformer的说法非常相似，将
《论文阅读》Blindly Assess Image Quality in the Wild Guided by A Self-Adaptive Hyper Network
未知丶的博客
08-31 3420
留个笔记自用 Blindly Assess Image Quality in the Wild Guided by A Self-Adaptive Hyper Network 做什么 做了什么 怎么做 总结
《论文阅读》Learning to Restore Low-Light Images via Decomposition-and-Enhancement
未知丶的博客
09-10 2895
留个笔记自用 Learning to Restore Low-Light Images via Decomposition-and-Enhancement 做什么 Restore Low-Light Images，低光照图像还原 非常常见的应用，输入是一张像素值较小并且信噪比较小的图片，将图像重建为高质量的高细节的图片 做了什么 这里的(a)便是系统的输入低光照图像，b、e、f都是利用其他方法所进行的图像还原，显然这三者还原出来的效果在人的视觉中都不理想，因为这里提出的存在一个问题，同时增强光照而又同时
Practical Wide-Angle Portraits Correction with Deep Structured Models中的TM模块是怎么实现的
06-13
在Practical Wide-Angle Portraits Correction with Deep Structured Models中，TM模块是由一个卷积层和一个反卷积层组成的，用于对中间图像进行细化和平滑化处理。 具体来说，TM模块的输入是中间图像，输出是一个...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值