DeepVO项目实践-基于ChiWeiHsiao/DeepVO-pytorch版本

最新推荐文章于 2024-02-23 21:16:00 发布
最新推荐文章于 2024-02-23 21:16:00 发布
阅读量973 收藏 23
点赞数 2
分类专栏： VO(Visual Odometry) 文章标签： pytorch 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huarzail/article/details/131755132
版权
DeepVO是一种使用深度递归卷积神经网络（RCNN）和LSTM的端到端单目视觉里程计框架，它避免了传统VO方法中的模块化设计。该项目基于ChiWeiHsiao的PyTorch实现，涉及下载、配置、训练和评估过程，包括使用KITTI数据集和预训练模型。DeepVO通过端到端训练直接从RGB图像序列中估计姿态。
摘要由CSDN通过智能技术生成

一、项目介绍

传统的VO方法pipeline一般需要包括：特征提取，特征匹配，运动估计，局部优化等模块。尽管其中一些方法已经展现了优越的性能，但通常仍需要精心设计和专门进行微调才能适应不同的任务和环境需求。同时单目视觉里程计缺失尺度信息，往往需要一些先验知识来恢复绝对尺度估计。

针对传统的方法的不足，DeepVO方法使用深度递归卷积神经网络(RCNNG)，提出了一种新颖的端到端单目VO的框架。由于它是以端到端的方式进行训练和配置的，因此它可以直接从一系列原始的RGB图像（视频）中计算得到姿态，而无需采用任何传统VO框架中的模块。

DeepVO方法应该是第一个采用LSTM方法来实现视觉里程计的方法，具有里程碑的意义。

由于作者没有开源，感谢很多大佬复现了他的方法，如ChiWeiHsiao复现了DeepVO方法，github上取名为：DeepVO-pytorch。

非常感谢原文作者和ChiWeiHsiao对VO做出的贡献。

本文基于ChiWeiHsiao/DeepVO-pytorch版本项目部署，进行简单的介绍。

DeepVO方法pipeline详细分析如下图所示：

 二、项目下载

下载地址：https://github.com/ChiWeiHsiao/DeepVO-pytorch

下载命令：

git clone GitHub - ChiWeiHsiao/DeepVO-pytorch: PyTorch Implementation of DeepVO

我的项目名称修改为：DeepVO。

三、项目配置

1、下载KITTI数据集和预训练模型

（1）自动下载数据集（网速块）

运行KITTI/downloader.sh自动下载数据集和预训练模型（网速快）

（注意：请使用bash命令运行，sh命令出现“downloader.sh: 3: Syntax error: "(" unexpected”错误）

bash KITTI/downloader.sh

（2）手动下载数据集（网速慢）

注意：服务器如果没有配置VPN，下载KITTI数据非常慢，可以自己先通过其他渠道下载，再上传至KITTI目录（注意文件夹的命名）

如：将文件夹2011_10_03_drive_0027下的image_03中的所有RGB图像放置在文件夹00中。

文件夹

名称

文件名下载地址备注
002011_10_03_drive_0027https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0027/2011_10_03_drive_0027_sync.zip训练集
012011_10_03_drive_0034https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0034/2011_10_03_drive_0034_sync.zip训练集
022011_10_03_drive_0042https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_10_03_drive_0042/2011_10_03_drive_0042_sync.zip训练集
032011_09_26_drive_0067https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_26_drive_0067/2011_09_26_drive_0067_sync.zip训练集
042011_09_30_drive_0016https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0016/2011_09_30_drive_0016_sync.zip测试集
052011_09_30_drive_0018https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0018/2011_09_30_drive_0018_sync.zip测试集
062011_09_30_drive_0020https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0020/2011_09_30_drive_0020_sync.zip训练集
072011_09_30_drive_0027https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0027/2011_09_30_drive_0027_sync.zip测试集
082011_09_30_drive_0028https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0027/2011_09_30_drive_0027_sync.zip训练集
092011_09_30_drive_0033https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0033/2011_09_30_drive_0033_sync.zip测试集
102011_09_30_drive_0034https://s3.eu-central-1.amazonaws.com/avg-kitti/raw_data/2011_09_30_drive_0034/2011_09_30_drive_0034_sync.zip训练集

DeepVO预训练模型下载：

https://drive.google.com/file/d/1l0s3rYWgN8bL0Fyofee8IhN-0knxJF22/view

放在./models文件夹下。

文件名为：

t000102050809_v04060710_im184x608_s5x7_b8_rnn1000_optAdagrad_lr0.0005.model.train

（3）下载ground truth pose

从 KITTI Visual Odometry下载ground truth pose

下载地址：

存放在：./KITTI/pose_GT/文件夹下。

2、运行preprocess.py

根据KITTI devkit中的readme文件删除未使用的图像；

将KITTI的绝对姿态（12个浮点数 [R|t]）转换为6个浮点数（欧拉角 + 平移）；

并将转换后的绝对姿态保存为.npy文件。

3、下载预训练模型FlowNet ( CNN part ) 

下载地址：

https://drive.google.com/drive/folders/16eo3p9dO_vmssxRoZCmWkTpNjKRzJzn5

​

随便下载哪个都可以。

下载之后放在./pretrained目录下

4、指定路径和超参数

在文件paras.py中指定数据集的路径和超参数

模型训练和验证时需要的所有参数全部在这里设置（这个工程思想很好，避免在脚本文件中带上非常多的参数）。

如果您的计算资源有限，请注意以下参数：

batch_size：根据您的GPU内存选择批处理大小

img_w、img_h：将图像降采样以适应GPU内存

pin_mem：加速GPU和内存之间的数据交换，如果您的RAM不够大，请将其设置为False。

5、训练模型

运行main.py训练模型

训练的模型和优化的参数保存在：models目录下；

记录存放在：records目录中。

6、评估模型

运行test.py预测位姿

输出在：result目录中；

文件名类似于：out_00.txt等。

7、可视化

运行visualize.py，可视化预测的位姿

8、其他文件

model.py：模型在这里调优

data_helper.py：定制PyTorch dataset and sampler

三、测试结果

使用预训练模型，对01、04、05、10四个序列进行测试，测试结果如下。

参考文献：

[1] 1709.08429.pdf (arxiv.org)

[2] GitHub - ChiWeiHsiao/DeepVO-pytorch: PyTorch Implementation of DeepVO

huarzail
关注
专栏目录
DeepVO：基于深度循环卷积神经网络的端到端视觉里程计
程序员，他们想的是什么?他们想的永远都是技术，他们崇尚的也永远都是技术。
05-31 430
每天一分钟，带你读遍机器人顶级会议文章 标题：DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks 作者：Sen Wang, Ronald Clark, Hongkai Wen and Niki Trigoni 来源：ICRA 2017 编译：蔡纪源 播音员： 王肃 欢迎个人转发朋友圈；其他机构或自媒体如需转载，后台留言申请授权 摘要 今天介绍的文章是“DeepVO: Tow
DeepVO：通过深度循环卷积神经网络实现端到端的视觉里程计
huarzail的专栏
07-16 1739
使用深度递归卷积神经网络(RCNNG)，提出了一种新颖的端到端单目VO的框架。由于它是以端到端的方式进行训练和配置的，因此它可以直接从一系列原始的RGB图像（视频）中计算得到姿态，而无需采用任何传统VO框架中的模块。
欧拉公式求圆周率的matlab代码-DeepVO-pytorch:DeepVO的PyTorch实施
05-23
欧拉公式求长期率的matlab代码自述文件 这是ICRA 2017论文的非官方PyTorch实施 模型 用法 下载KITTI数据和我们的预训练模型 该外壳KITTI/downloader.sh可用于下载KITTI图像和预训练的模型 外壳将仅保留左侧相机的彩色图像（image_03文件夹）并删除其他数据 下载的图像将放置在KITTI/images/00/ ， KITTI/images/01 ，... KITTI提供的图像已得到纠正 预训练模型的直接 从下载地面真相姿势 您需要输入电子邮件以请求姿势数据 并将地面真相姿势放置在KITTI/pose_GT/ 运行'preprocess.py'来 根据KITTI devkit中的自述文件删除未使用的映像 将地面实况姿势从KITTI（12个浮点[R | t]）转换为6个浮点（欧拉角+平移） 并将转换后的地面真相姿势保存为.npy文件 可以下载FlowNet的预训练重量（CNN部分） 请注意，此经过预先训练的FlowNet模型假定RGB值范围为[-0.5，0.5] CNN层的代码从 在params.py指定路径并更改超params.py 如果您的计
PyTorch - Python deep learning neural network API
Every moment of My life !!!
09-11 557
Welcome back to this series on neural network programming with PyTorch. To kick this series off, let’s introduce PyTorch, a deep learning neural network package for Python. There’s no better place to ...
Python-用PyTorch实现DeepVoice3语音合成
08-09
PyTorch实现基于卷积网络的文本到语音合成模型
【论文阅读】DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks
博客标题不能为空我也没办法
02-23 1302
端到端的视觉里程计，采用CNN提取特征，使用LSTM进行位姿推理
DeepVO-pytorch-master
09-22
本文将详细介绍一个基于PyTorch实现的DeepVO项目——DeepVO-pytorch-master，并对其关键文件进行解析。 首先，我们要理解项目的核心思想。DeepVO的基本原理是利用卷积神经网络（CNN）处理连续的图像对，通过学习...
人工智能-项目实践-知识图谱-基于Pytorch和torchtext的知识图谱深度学习框架（下载即用）
最新发布
10-29
人工智能-项目实践-知识图谱-基于Pytorch和torchtext的知识图谱深度学习框架.zip，框架主要设计为有以下功能：知识表示学习， Knowledge Representation Learning；实体识别与链接， Entity Recognition and Linking...
人工智能-项目实践-强化学习-基于pytorch的中文意图识别和槽位填充.zip
12-14
人工智能-项目实践-强化学习-基于pytorch的中文意图识别和槽位填充 基于pytorch的中文意图识别和槽位填充 说明 基本思路就是：分类+序列标注（命名实体识别）同时训练。 使用的预训练模型：hugging face上的...
人工智能-项目实践-数据增强-基于pytorch的目标检测数据增强工具包.zip
12-28
人工智能-项目实践-数据增强-基于pytorch的目标检测数据增强工具包 基于pytorch的目标检测数据增强工具包。 VOC格式数据集 -> transforms -> 无限dotaloader -> mosaic数据增强 -> anchors匹配 => 输出 : tuple...
Python-DeepVoice3的一个Tensorflow实现
08-10
Deep Voice 3的一个Tensorflow实现
deepvoice3基于pytorch
09-11
基于pytorch的T2S工具源码，PyTorch implementation of convolutional networks-based text-to-speech synthesis models: arXiv:1710.07654: Deep Voice 3: Scaling Text-to-Speech with Convolutional Sequence Learning.
d2l-zh-pytorch.pdf
02-14
PyTorch 是一个基于 Python 的机器学习库，特别适合深度学习。下面是基于 d2l-zh-pytorch.pdf 文件所生成的知识点： 1. PyTorch 的安装和基本概念：PyTorch 是一个开源的机器学习库，支持深度学习和机器学习模型的...
论文笔记_S2D.45_DeepVO: 基于深度循环卷积神经网络的端到端视觉里程计
惊鸿一博
11-05 878
1. 文章以及整体结构 文章：DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（基于深度循环卷积神经网络的端到端视觉里程计） 作者：Sen Wang, Ronald Clark, Hongkai Wen and Niki Trigoni 来源：ICRA2017 deepvo网络结构如下：CNN+RNNs （单目VO） CNN网络的结构：RNNs网络的结构： （学习完理解
每天一篇论文 345/365 D3VO: Deep Depth, Deep Pose and Deep Uncertaintyfor Monocular Visual Odometry
流浪机器人的博客
03-16 2086
D3VO: Deep Depth, Deep Pose and Deep Uncertaintyfor Monocular Visual Odometry 参考 What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? 摘要 我们提出了一个新的单目视觉里程测量框架D3V O，该框架在三个层次上利用深度...
配置运行DeepVO-pytorch
crazyfox的博客
10-25 1293
配置运行DeepVO-pytorch1 下载东西2 配置环境 1 下载东西 包括代码，kitti数据集，kitti位姿真值，预训练模型 2 配置环境 (1) 若没有需要先安装anaconda 可以更改清华镜像 (2) 创建conda虚拟环境 conda create --name py36-for-deepvo python=3.6 (3) 激活环境 source activate py36-for-deepVO （4）安装pytorch 0.4.0 先查看cuda版本 cat /usr/local/c
DeepVO论文笔记
fan_nlnl的博客
06-30 3437
摘要    深度学习还没有进入到自动导航领域，比如VO（visual odometry 视觉里程计）、SfM（structure from motion运动结构）、SLAM（simultaneous localization and mapping实时定位制图）。 本文提出了一种单目视觉里程计的深度学习方法，取代了以前的检测-跟踪的方法。介绍    在机器人导航领域，里程计被定义为利用不同的动作传...
深度学习神经网络学习笔记-多模态方向-11-Deep Voice: Real-time Neural Text-to-Speech
CSDNXXCQ的博客
05-23 1392
本文提出Deep Voice，一种完全由深度神经网络构建的生产质量文本到语音系统。Deep Voice为真正的端到端神经语音合成奠定了基础。该系统由五个主要的构建模块组成:用于定位音素边界的分割模型、字素到音素的转换模型、音素时长预测模型、基频预测模型和音频合成模型。对于分割模型，我们提出了一种使用连接时序分类(CTC)损失的深度神经网络执行音素边界检测的新方法。对于音频合成模型，我们实现了WaveNet的一个变体，比原始模型需要更少的参数，训练速度更快。
深度视觉里程计DeepVO(ICRA)的运行笔记
qq_36635888的博客
03-21 3132
最近运行了github上的一个deepvo代码，在此做一个学习笔记。 1. 文章以及整体结构 文章：DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Networks（基于深度循环卷积神经网络的端到端视觉里程计） 作者：Sen Wang, Ronald Clark, Hongkai...
Collecting package metadata (current_repodata.json): done Solving environment: failed with initial frozen solve. Retrying with flexible solve. Collecting package metadata (repodata.json): done Solving environment: failed with initial frozen solve. Retrying with flexible solve. PackagesNotFoundError: The following packages are not available from current channels: - pytorch==1.2.0 - torchvision==0.4.0 Current channels: - https://conda.anaconda.org/pytorch/win-64 - https://conda.anaconda.org/pytorch/noarch - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/win-64 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/pytorch/noarch - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/win-64 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/noarch - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/win-64 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/noarch - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/win-64 - http://mirrors.tuna.tsinghua.edu.cn/anaconda/cloud/conda-forge/noarch To search for alternate channels that may provide the conda package you're looking for, navigate to https://anaconda.org and use the search bar at the top of the page.
07-14
根据您提供的错误信息，当前的conda渠道中似乎没有可用于安装PyTorch 1.2.0和TorchVision 0.4.0的包。这可能是因为这些较旧的版本已不再提供在当前的conda渠道中。 您可以尝试使用以下命令来安装较新版本的PyTorch和TorchVision： ``` conda install pytorch torchvision -c pytorch ``` 这将从pytorch渠道安装最新版本的PyTorch和TorchVision。 如果仍然遇到问题，您可以尝试在anaconda.org上搜索其他可用的conda渠道，看看是否有提供适用于您的配置的PyTorch和TorchVision版本。 另外，您也可以考虑使用pip来安装PyTorch和TorchVision。使用以下命令安装最新版本的PyTorch和TorchVision： ``` pip install torch torchvision ``` 请注意，如果您使用pip进行安装，您需要确保已经正确设置了Python环境，并且已经安装了适当版本的C编译器（例如GCC）以及相关的依赖项。 如果您仍然遇到问题，请提供更多详细的错误信息，以便我们可以更好地帮助您解决问题。
评论 18
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值