Learning Monocular Visual Odometrythrough Geometry-Aware Curriculum Learning

最新推荐文章于 2022-09-09 07:30:31 发布
最新推荐文章于 2022-09-09 07:30:31 发布
阅读量279 收藏
点赞数
分类专栏： 每天一篇论文365
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26623879/article/details/102497427
版权

Learning Monocular Visual Odometrythrough Geometry-Aware Curriculum Learning

总结 这是一篇用IMU监督训练连续帧之间的位姿变换的R，T的文章，算是camera pose estimation的一个亮点，可以将该训练网络融合到双目相机，或者单目相机深度估计和ego-motion 估计之中

这是一篇深度网络和IMU联合的深度VO文章，核心思想就是用IMU实际数据训练深度VO，改变了之前深度位姿估计依赖于深度估计的现状。
网络估计误差和IMU数据误差构建。下面公式显示这个有界的损失，其中n是图像的数量。Lrel是测量连续帧之间的误差，Lcom它包括在小窗口上解释错误的合成损失。系数α用于平衡这两个项。
在这里插入图片描述两个误差之间的系数a的取值
在这里插入图片描述
文章中用FlowNet2-C 和Flownet2-S作为连续两帧的enconde网络，在位姿回归的时候用LSTM得到位姿6-DoF camera poses .这是一种比较常用的传感器数据进入到网络里的一种方法。如下图，
在这里插入图片描述
结果在这里插入图片描述
在这里插入图片描述

流浪机器人
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Monocular-Visual-Odometry-master源码.zip
09-29
Monocular-Visual-Odometry-master源码.zip
monocular-visual-odometry:使用单眼相机进行视觉里程计的实验。 计划最终尝试深度学习功能
05-10
单眼视觉测程法C ++ 这是一个简单的实现，主要使用OpenCV。 但是，我计划用不同的想法替换主要组件，例如使用“深度学习”功能等。敬请关注，随时问我任何问题。 目前的算法如下 1. Capture images: It, It+1, 2. Undistort the above images. (using kitti so this step is done for you!) 3. Use FAST algorithm to detect features in It, and track those features to It+1. A new detection is triggered if the number of features drop below a certain threshold. 4. Use Nister’s 5-po
Monocular-Visual-Odometry-master_matlab项目_visualodometry_KITTI数据
02-03
8MATLAB代码为单目视觉测程与KITTI数据集。该方法的目的是利用连续图像之间丰富的信息关系，并利用最小的硬件，即单目视觉传感器来弥补错误的测距传感器。在这个项目中，我们实现了每个图像的特征检测、特征提取和特征匹配方法。还实现了单目视觉测程的流水线，并在KITTI数据集上测试了我们的实现。
Monocular-Visual-Odometry-Emgu:轮式机器人单目视觉里程计算法的C#Emgu实现
06-28
单目视觉里程计-Emgu ＃＃概述 单目视觉里程计算法的 C#/Emgu 实现最初由 Jason Campbell、Rahul Sukthankar、Illah Nourbakhsh 和 Aroon Pahwa 在他们的论文中提出：使用消费级单目视觉的鲁棒视觉里程计和悬崖检测系统。 ( ) 根据 GPL v3.0 许可由 Rainer Hessmer 博士（代码）编写的原始代码修改。 要求 微软 .NET 框架 v3.5 微软 Visual Studio 2010+ EMGU 库 (v2.1+)
SLAM综述阅读笔记四：A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial 2020
light169的专栏
07-21 2221
《A Survey on Deep Learning for Localization and Mapping: Towards the Age of Spatial Machine Intelligence》
Learning monocular visual odometry with dense 3D mapping from dense 3D flow
Inner Peace
12-05 661
IROS深度学习定位论文2_深度学习SLAM 论文：Learning monocular visual odometry with dense 3D mapping from dense 3D flow 地址：https://arxiv.org/pdf/1803.02286.pdf 1 摘要   本文所介绍的论文提出了一种完全由深度学习实现的单目SLAM，可以同时进行定位并进行稠密3D建图。通过...
无监督学习的视觉里程计 UnDeepVO: Monocular Visual Odometry through Unsupervised DeepLearning 论文笔记
phy12321的博客
11-09 1427
埃塞克斯大学，单目视觉里程计 VGG + 伪孪生FC网络是位姿预测网络的常用结构（undeepVO,deepPCO） 这是一篇单目视觉里程计的工作, 其贡献以及特点主要有: 使用无监督学习进行训练, 不受数据集真值的限制 相比以往的单目里程计,可以恢复出绝对尺度 同时完成了视觉里程计和深度估计两个任务 训练阶段使用双目图像作为输入,测试时使用单目输入。 方法概述： 以双目相机k时刻和k+1时刻的左右图像作为输入，因此有4个图。 网络由深度估计网络、相对位姿估计网络两个部分组成，分别生成深度图和相对位.
Geometry Meets Deep Learning(专栏)
excellent_sun的博客
12-16 420
Geometry Meets Deep Learning201720162015 2017 Inverse Compositional Spatial Transformer Networks paper-CVPR2017 Convolutional neural network architecture for geometric matching paper-CVPR2017 ...
论文阅读汇总list
流浪机器人的博客
11-28 1385
基于计算机视觉的地面机器人深度估计及相对定位框架A Framework for Depth Estimation and Relative Localization of Ground Robots Using Computer Vision 2019.11.27 新的人工智能系统近乎完美的预测癫痫发作Effificient Epileptic Seizure Prediction...
奇点汽车黄浴：SLAM的动态地图和语义问题
我爱计算机视觉
03-08 2944
点击我爱计算机视觉标星，更快获取CVML新技术本文原载于知乎自动驾驶的挑战和发展专栏，作者为奇点汽车美研中心首席科学家兼总裁黄浴，52CV非常荣幸取得黄先生授权转载。https://zh...
Event-based Monocular Visual Inertial Odometry
10-22
Monocular Event Visual Inertial Odometry based on Event-corner using Sliding Windows Graph-based Optimization 基于事件相机的单目视觉惯性里程计
【SLAM系列】UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning
weixin_43882112的博客
09-21 677
文章目录1 概要2. Motivation3. 思想4. 算法4.1 空间对齐4.2 位姿估计5. 实验结果6. 总结与思考 1 概要 题目：UnDeepVO: Monocular Visual Odometry through Unsupervised Deep Learning 论文：https://arxiv.org/pdf/1709.06841.pdf 代码：https://github.com/drmaj/UnDeepVO 简介：一种新的单目视觉里程计（VO）系统UnDeepVO。 2. Moti
【论文笔记 】视觉重定位 ViPR: Visual-Odometry-aided Pose Regression for 6DoF Camera Localization CVPR 2020
phy12321的博客
08-16 753
德国纽伦堡夫琅和费集成电路研究所,德国纽伦堡大学,德国慕尼黑路德维希-马克西米利安大学 本文提出了VIPR，一个使用视觉里程计辅助进行重定位的网络，并提出了一个可用于相机重定位和视觉里程计评估的高精度工业数据集。 如果把本文看成是Posenet基础上的改进，那么可以将VIPR的结构描述为： 将Posenet改进为使用三张连续图象为输入，输入对应的三个绝对位姿，作为对真实位姿的逼近。 在此基础上使用相对位姿信息辅助预测：四张连续图象构成三个图像对，使用FlowNet2.0提取其对应的光流信息，然后用级联.
DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks--Sen Wa
xu.hyj
03-06 926
[1] Wang S , Clark R , Wen H , et al. DeepVO: Towards end-to-end visual odometry with deep Recurrent Convolutional Neural Networks[J]. IEEE, 2017. 针对以往的使用深度学习解决视觉里程计中，只在帧间预测pose，没有充分利用连续帧的问题，本文使用CNN+RCNN(LSTM)实现了充分利用序列帧的信息，实现了很好的效果。 1、整体结构2、CNN部分3、RNN部分.
SLAM技术目前主要应用在哪些领域
Night___Raid的博客
02-18 9142
当今科技发展速度飞快，想让用户在AR/VR、机器人、无人机、无人驾驶领域体验加强，还是需要更多前沿技术做支持，SLAM就是其中之一。实际上，有人就曾打比方，若是手机离开了WIFI和数据网络，就像无人车和机器人，离开了SLAM一样。 什么是SLAM SLAM的英文全称是 Simultaneous Localization and Mapping，中文称作「同时定位与地图创建」。 SL...
论文阅读笔记《Learning monocular depth estimation infusing traditional stereo knowledge》
深视
05-19 1079
网络名称：monoResMatch 论文来源：CVPR2019 核心思想   本文提出一种自监督实现单目深度估计的网络，其思路也非常简单，将单目深度估计转化成立体匹配问题，再用立体匹配网络进行视差估计。整个网络结构包含以下几个部分：初级特征提取网络，初级视差估计网络，视差优化网络。初级特征提取网络是由一个简单的沙漏型结构构成的，对左图提取高纬度的特征图FL0F^0_LFL0​。初级视差估计网络则是一个带有跳跃连接的多尺度的沙漏型结构，输入左特征图FL0F^0_LFL0​输出多尺度的左视差图dL0..2d^{
Unsupervised Learning of Monocular Depth Estimation and Visual Odometry论文阅读
yueleileili的博客
10-06 1673
Abstract 这篇文章，作者利用双目视频序列学习深度和视觉测距。使用双目序列能够促进利用空间的（左右目拍摄的图片），和时序上的（前后帧图片）的photometric warp error, 并且限制景深会和相机运动在一个现实的范围。测试阶段，作者提出的框架能够从单目序列当中估计单张场景的深度，和两张场景的视觉里程。作者也展示了将深度特征的warp考虑进来可以优化photometric warp...
ECCV2022 | 基于整合IMU运动动力学的无监督单目深度估计
CV_Autobot的博客
09-09 554
点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心技术交流群0. 引言虽然近年来无监督单目深度学习取得了很大的进展，但仍然存在一些基本问题。首先，目前的方法存在尺度模糊性问题，因为反推过程对于深度和平移来说相当于任意尺度因子。其次，光度误差对照明变化和移动物体敏感。此外，尽管在无监督学习框架下已经为光度误差图引入了不确定性，但自我运动的不确定性度量仍然是重要的...
node-v12.16.3-x86.msi
最新发布
04-25
Node.js，简称Node，是一个开源且跨平台的JavaScript运行时环境，它允许在浏览器外运行JavaScript代码。Node.js于2009年由Ryan Dahl创立，旨在创建高性能的Web服务器和网络应用程序。它基于Google Chrome的V8 JavaScript引擎，可以在Windows、Linux、Unix、Mac OS X等操作系统上运行。 Node.js的特点之一是事件驱动和非阻塞I/O模型，这使得它非常适合处理大量并发连接，从而在构建实时应用程序如在线游戏、聊天应用以及实时通讯服务时表现卓越。此外，Node.js使用了模块化的架构，通过npm（Node package manager，Node包管理器）,社区成员可以共享和复用代码，极大地促进了Node.js生态系统的发展和扩张。 Node.js不仅用于服务器端开发。随着技术的发展，它也被用于构建工具链、开发桌面应用程序、物联网设备等。Node.js能够处理文件系统、操作数据库、处理网络请求等，因此，开发者可以用JavaScript编写全栈应用程序，这一点大大提高了开发效率和便捷性。 在实践中，许多大型企业和组织已经采用Node.js作为其Web应用程序的开发平台，如Netflix、PayPal和Walmart等。它们利用Node.js提高了应用性能，简化了开发流程，并且能更快地响应市场需求。
unsupervised monocular depth estimation with left-right consistency
03-16
无监督单目深度估计是指使用只有单张图像而没有深度标签的情况下，通过深度估计模型来预测场景中每个像素的深度信息。左右一致性是指使用一对左右摄像机拍摄的图像，通过对左右图像的深度估计结果进行一致性检验来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值