DeepVO项目实践-基于ChiWeiHsiao/DeepVO-pytorch版本

最新推荐文章于 2024-05-22 17:13:59 发布
最新推荐文章于 2024-05-22 17:13:59 发布
阅读量615 收藏 11
点赞数 2
分类专栏： VO(Visual Odometry) 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huarzail/article/details/131755132
版权

一、项目介绍

传统的VO方法pipeline一般需要包括：特征提取，特征匹配，运动估计，局部优化等模块。尽管其中一些方法已经展现了优越的性能，但通常仍需要精心设计和专门进行微调才能适应不同的任务和环境需求。同时单目视觉里程计缺失尺度信息，往往需要一些先验知识来恢复绝对尺度估计。

针对传统的方法的不足，DeepVO方法使用深度递归卷积神经网络(RCNNG)，提出了一种新颖的端到端单目VO的框架。由于它是以端到端的方式进行训练和配置的，因此它可以直接从一系列原始的RGB图像（视频）中计算得到姿态，而无需采用任何传统VO框架中的模块。

DeepVO方法应该是第一个采用LSTM方法来实现视觉里程计的方法，具有里程碑的意义。

由于作者没有开源，感谢很多大佬复现了他的方法，如ChiWeiHsiao复现了DeepVO方法，github上取名为：DeepVO-pytorch。

非常感谢原文作者和ChiWeiHsiao对VO做出的贡献。

本文基于ChiWeiHsiao/DeepVO-pytorch版本项目部署，进行简单的介绍。

DeepVO方法pipeline详细分析如下图所示：

 二、项目下载

下载地址：https://github.com/ChiWeiHsiao/DeepVO-pytorch

下载命令：

git clone GitHub - ChiWeiHsiao/DeepVO-pytorch: PyTorch Implementation of DeepVO

我的项目名称修改为：DeepVO。

三、项目配置

1、下载KITTI数据集和预训练模型

（1）自动下载数据集（网速块）

运行KITTI/downloader.sh自动下载数据集和预训练模型（网速快）

（注意：请使用bash命令运行，sh命令出现“downloader.sh: 3: Syntax error: "(" unexpected”错误）

bash KITTI/downloader.sh

（2）手动下载数据集（网速慢）

注意：服务器如果没有配置VPN，下载KITTI数据非常慢，可以自己先通过其他渠道下载，再上传至KITTI目录（注意文件夹的命名）

如：将文件夹2011_10_03_drive_0027下的image_03中的所有RGB图像放置在文件夹00中。

文件夹

名称

文件名下载地址备注
002011_10_03_drive_0027https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0027/2011_10_03_drive_0027_sync.zip训练集
012011_10_03_drive_0034https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0034/2011_10_03_drive_0034_sync.zip训练集
022011_10_03_drive_0042https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0042/2011_10_03_drive_0042_sync.zip训练集
032011_09_26_drive_0067https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_26_drive_0067/2011_09_26_drive_0067_sync.zip训练集
042011_09_30_drive_0016https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0016/2011_09_30_drive_0016_sync.zip测试集
052011_09_30_drive_0018https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0018/2011_09_30_drive_0018_sync.zip测试集
062011_09_30_drive_0020https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0020/2011_09_30_drive_0020_sync.zip训练集
072011_09_30_drive_0027https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0027/2011_09_30_drive_0027_sync.zip测试集
082011_09_30_drive_0028https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0027/2011_09_30_drive_0027_sync.zip训练集
092011_09_30_drive_0033https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0033/2011_09_30_drive_0033_sync.zip测试集
102011_09_30_drive_0034https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0034/2011_09_30_drive_0034_sync.zip训练集

DeepVO预训练模型下载：

https://drive.google.com/file/d/1l0s3rYWgN8bL0Fyofee8IhN-0knxJF22/view

放在./models文件夹下。

文件名为：

t000102050809_v04060710_im184x608_s5x7_b8_rnn1000_optAdagrad_lr0.0005.model.train

（3）下载ground truth pose

从 KITTI Visual Odometry下载ground truth pose

下载地址：

存放在：./KITTI/pose_GT/文件夹下。

2、运行preprocess.py

根据KITTI devkit中的readme文件删除未使用的图像；

将KITTI的绝对姿态（12个浮点数 [R|t]）转换为6个浮点数（欧拉角 + 平移）；

并将转换后的绝对姿态保存为.npy文件。

3、下载预训练模型FlowNet ( CNN part ) 

下载地址：

https://drive.google.com/drive/folders/16eo3p9dO_vmssxRoZCmWkTpNjKRzJzn5

​

随便下载哪个都可以。

下载之后放在./pretrained目录下

4、指定路径和超参数

在文件paras.py中指定数据集的路径和超参数

模型训练和验证时需要的所有参数全部在这里设置（这个工程思想很好，避免在脚本文件中带上非常多的参数）。

如果您的计算资源有限，请注意以下参数：

batch_size：根据您的GPU内存选择批处理大小

img_w、img_h：将图像降采样以适应GPU内存

pin_mem：加速GPU和内存之间的数据交换，如果您的RAM不够大，请将其设置为False。

5、训练模型

运行main.py训练模型

训练的模型和优化的参数保存在：models目录下；

记录存放在：records目录中。

6、评估模型

运行test.py预测位姿

输出在：result目录中；

文件名类似于：out_00.txt等。

7、可视化

运行visualize.py，可视化预测的位姿

8、其他文件

model.py：模型在这里调优

data_helper.py：定制PyTorch dataset and sampler

三、测试结果

使用预训练模型，对01、04、05、10四个序列进行测试，测试结果如下。

参考文献：

[1] 1709.08429.pdf (arxiv.org)

[2] GitHub - ChiWeiHsiao/DeepVO-pytorch: PyTorch Implementation of DeepVO

huarzail
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
神经网络 | DeepVO:Towards End-to-End Visual Odometry
尘世冰封的专栏
03-28 2266
博主github：https://github.com/MichaelBeechan 博主CSDN：https://blog.csdn.net/u011344545 DeepVO代码：链接：https://pan.baidu.com/s/1bSNuZaj0KouXAXlhM4XK_g 提取码：wpzz 论文：http://www.cs.ox.ac.uk/files/9026/DeepVO.pdf ...
深度视觉里程计DeepVO(ICRA)的运行笔记
qq_36635888的博客
03-21 2956
最近运行了github上的一个deepvo代码，在此做一个学习笔记。 1. 文章以及整体结构 文章：DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（基于深度循环卷积神经网络的端到端视觉里程计） 作者：Sen Wang, Ronald Clark, Hongkai...
Tacotron1: TOWARDS END-TO-END SPEECH SYNTHESIS阅读笔记
进击的小杨人
04-22 397
1. Tacotron1: TOWARDS END-TO-END SPEECH SYNTHESIS 文章于2017年4月发表 整体过程： Encoder: 输入Character, character embeddings； Pre-net, 一个带激活函数的DNN网络，其主要功能是对输入进行一系列的非线性的变换，进一步扩大输入空间； CBHG；conv bank + residual c...
论文阅读《DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Net》
Ah丶Weii
10-11 1421
一、重点单词理解 elaborate 困难的 facilitates 促进 scheme 方案 formulation 配方
DeepVO论文笔记
fan_nlnl的博客
06-30 3359
摘要    深度学习还没有进入到自动导航领域，比如VO（visual odometry 视觉里程计）、SfM（structure from motion运动结构）、SLAM（simultaneous localization and mapping实时定位制图）。 本文提出了一种单目视觉里程计的深度学习方法，取代了以前的检测-跟踪的方法。介绍    在机器人导航领域，里程计被定义为利用不同的动作传...
已解决RuntimeError: multi-target not supported at /opt/conda/conda-bld/pytorch_1549635019666/work/aten/
热门推荐
03-28 6万+
这个错误通常是由于使用了多目标的类别损失函数(ClassNLLCriterion)而引起的。
RuntimeError: NCCL error in: /opt/ conda/ conda-bld/pytorch 1607370117127/work/ torch/lib/c10d/Proce
m0_49423868的博客
04-10 9275
NCCL错误
docker pytorch-cuda 安装 devel 版本
qq_28424679的博客
04-23 3360
查看镜像 docker image ls docker 镜像文档查询链接 Docker Hubhttps://hub.docker.com/r/pytorch/pytorch/tags 选择自己合适的版本进行安装（直接复制即可获取安装代码） 拉镜像： docker pull pytorch/pytorch:1.7.1-cuda11.0-cudnn8-devel 查看镜像 docker image ls 重新命名： docker tag 7554ac65eba5 jianhu.
RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1556653215914/work/torch/lib/c10d/ProcessG
Rlin_by的博客
06-11 5586
pytorch dist 分布式训练会遇见的问题 RuntimeError: NCCL error in: /opt/conda/conda-bld/pytorch_1556653215914/work/torch/lib/c10d/ProcessGroupNCCL.cpp:272, unhandled system error
awesome-semantic-segmentation-pytorch:PyTorch上的语义分割（包括FCN，PSPNet，Deeplabv3，Deeplabv3 +，DANet，DenseASPP，BiSeNet，EncNet，DUNet，ICNet，ENet，OCNet，CCNet，PSANet，CGNet，ESPNet，LEDNet，DFANet）
05-05
PyTorch上的语义分割 该项目旨在为使用PyTorch的语义细分模型提供简洁，易用，可修改的参考实现。 安装 # semantic-segmentation-pytorch dependencies pip install ninja tqdm # follow PyTorch installation in https://pytorch.org/get-started/locally/ conda install pytorch torchvision -c pytorch # install PyTorch Segmentation git clone https://github.com/Tramac/awesome-semantic-segmentation-pytorch.git # the following will install the lib with symb
NeRF-pytorch版本的代码
05-18
完整版神经辐射场pytorch版本代码，从github上down下来的，用pycharm打开并按照里面readme文件配置环境和下载数据集就可以训练模型。
欧拉公式求圆周率的matlab代码-DeepVO-pytorch:DeepVO的PyTorch实施
05-23
欧拉公式求长期率的matlab代码自述文件 这是ICRA 2017论文的非官方PyTorch实施 模型 用法 下载KITTI数据和我们的预训练模型 该外壳KITTI/downloader.sh可用于下载KITTI图像和预训练的模型 外壳将仅保留左侧相机的彩色图像（image_03文件夹）并删除其他数据 下载的图像将放置在KITTI/images/00/ ， KITTI/images/01 ，... KITTI提供的图像已得到纠正 预训练模型的直接 从下载地面真相姿势 您需要输入电子邮件以请求姿势数据 并将地面真相姿势放置在KITTI/pose_GT/ 运行'preprocess.py'来 根据KITTI devkit中的自述文件删除未使用的映像 将地面实况姿势从KITTI（12个浮点[R | t]）转换为6个浮点（欧拉角+平移） 并将转换后的地面真相姿势保存为.npy文件 可以下载FlowNet的预训练重量（CNN部分） 请注意，此经过预先训练的FlowNet模型假定RGB值范围为[-0.5，0.5] CNN层的代码从 在params.py指定路径并更改超params.py 如果您的计
Chinese-Text-Classification-Pytorch-mas
09-20
Chinese-Text-Classification-Pytorch-master。 数据齐全，说明文档详细。点击即用！ # 训练并测试： # TextCNN python run.py --model TextCNN # TextRNN python run.py --model TextRNN # TextRNN_Att python run.py --model TextRNN_Att # TextRCNN python run.py --model TextRCNN # FastText, embedding层是随机初始化的 python run.py --model FastText --embedding random # DPCNN python run.py --model DPCNN # Transformer python run.py --model Transformer
DeepVO-pytorch-master
09-22
DeepVO-pytorch-master
MVSNet-pytorch版 源码 MVSNet-pytorch-master
08-27
MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-master MVSNet_pytorch版 源码 MVSNet_pytorch-masterMVSNet_pytorch版 源码 ...
AnomalyDetectionCVPR2018-Pytorch:Pytorch版本-https
05-05
异常检测CVPR2018-Pytorch Pytorch版本-https: 未来的改进在本节中，我列出了我打算添加到此存储库中的将来的改进。 请随时推荐新功能。 我也很高兴接受公关！ :smirking_face: I3D特征提取MFNET特征提取已知的问题...
python-pytorch 下批量seq2seq+Bahdanau Attention实现问答1.0.000
最新发布
随笔
05-22 592
python-pytorch 下批量seq2seq+Bahdanau Attention实现简单问答1.0.000
AI Edge Torch: 在移动设备上实现高性能的 PyTorch 模型推理
谷歌开发者
05-21 587
作者 / 主任工程师 Cormac Brick，软件工程师 Advait Jain，软件工程师 Haoliang Zhang我们很高兴地发布 Google AI Edge Torch，可将 PyTorch 编写的模型直接转换成 TFLite 格式 (.tflite)，且有着优异的模型覆盖率和 CPU 性能。TFLite 已经支持 Jax、Keras 和 TensorFlow 编写的模型，现在我们加...
deepvo视觉里程计
01-17
DeepVO是一种基于人工智能的视觉里程计模型，它能够根据图像序列准确地估计相机的运动轨迹。视觉里程计是指通过计算相邻图像之间的相对位移，从而推测出相机或者车辆的运动轨迹。传统的视觉里程计方法通常需要进行特征提取、匹配和三角化等步骤，而DeepVO则使用了深度学习算法，可以直接从图像中直接学习运动模式，无需显式地提取特征。DeepVO主要由两个模块组成：视觉前端和运动估计网络。 首先，视觉前端处理图像数据，它将输入的连续图像序列转换成特征序列，这些特征可以在后续的运动估计网络中使用。视觉前端采用了卷积神经网络（CNN）结构，通过多个卷积和池化层提取图像的空间特征。这些特征具有很强的判别性，有助于准确估计相机的运动。 然后，在运动估计网络中，利用长短期记忆网络（LSTM）进行运动估计。LSTM可以有效地捕捉图像序列的时序信息，有助于提高视觉里程计的准确性。运动估计网络的输入是经过视觉前端处理的图像特征序列，通过多层LSTM网络进行运动估计，并输出相机的位置和姿态。 DeepVO的训练使用了监督学习的方法，通过将真实的相机轨迹作为标签数据来训练网络模型。在训练过程中，DeepVO通过最小化真实轨迹和预测轨迹之间的差异来优化网络参数。经过大量的训练，DeepVO可以准确地估计相机的运动，并在实际应用中具有较好的性能。 总之，DeepVO是一种利用深度学习算法进行视觉里程计的方法。它通过视觉前端和运动估计网络结合，能够有效地从图像序列中学习相机的运动模式，具有较高的精度和鲁棒性。它在自动驾驶、机器人导航等领域具有广泛的应用前景。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值