20230508 DeepVO: Towards End-to-End Visual Odometry with Deep Recurrent Convolutional Neural Network

摘要

基于RCNN提出了一种端到端的单目VO框架，在KITTI VO数据集上进行的大量实验表明，与最先进的方法相比，其性能具有竞争力，验证了端到端深度学习技术可以成为传统VO系统的可行补充。

引言

近年来VO已经有成熟的框架了，但是它们通常是经过大量工程努力硬编码的，管道中的每个模块都需要仔细设计和微调，以确保性能。此外，单眼VO必须通过使用一些额外的信息（例如，相机的高度）或先验知识来估计绝对尺度，这使得单眼VO容易产生大的漂移，并且比立体VO更具挑战性。

深度学习最近在很多任务上取得了不错的性能，但是VO上应用还不是很多。本篇工作我们就提出了基于深度学习的VO算法。该算法是端到端的，不需要传统的VO流程，本文创新点有三个：

1. To the best of our knowledge, this is the first end-to-end approach on the monocular VO through Deep Neural Networks (DNNs).
2. 提出了一个基于RNN的端到端VO算法。
3. 该算法可以隐式学习视频序列和复杂的相机姿态变化。

相关工作

略

基于RNN的端到端的VO算法

A. RNN 结构

在其他任务上，已经出现了好多优秀的网络，但是在几何任务上，VO不能简单地使用外观去进行推理。所以以前的网络不能简单地应用在VO任务上。一个可以学习几何特征表示的框架对于解决VO和其他几何问题至关重要。并且还要能处理序列数据，考虑到这两点RNN是一个很好地选择。

B. 基于CNN的特征提取

首先将两张连续图像链接，然后使用CNN进行特征提取。CNN结构如下图所示：

C.基于RNN的序列建模

D. 代价函数和优化过程

作者把问题建模为条件概率问题：

目标函数：

$\phi$ 代表欧拉角，四元数不太好优化，作者并没有说明原因。

实验结果

作者提到使用了LIBVISO2去 恢复单目VO的绝对尺度。

A. 训练和测试

数据集

KITTI有22个序列，序列00-10有真实标注，另外11个序列只提供了原始的数据。

训练和测试

00，02，08，09相对较长的序列用来训练，03,04,05,06,07,10，用来测试。
本文还设计了实验来检验该方法的泛化性：使用00-10进行训练，其余没有真实标注的用来测试。

过拟合是如何影响VO的

本文研究了一些VO使用深度学习的过拟合问题。

B.VO结果

作者使用RMSE来衡量平移和旋转的误差，

展示了三种算法，随着距离和速度的增加，平移和旋转角度的误差。
在3,4,5,6,7,10 六个序列上的误差：