End-to-End视觉里程计新突破：从运动模糊图像中精确估计相机姿态

更多优质内容，请关注公众号：智驾机器人技术前线

1.论文信息

• 论文标题：MBRVO: A Blur Robust Visual Odometry Based on Motion Blurred Artifact Prior

• 作者：Jialu Zhang, Jituo Li*, Jiaqi Li, Yue Sun, Xinqi Liu, Zhi Zheng, and Guodong Lu

• 作者单位：浙江大学机械工程学院流体动力与机电系统国家重点实验室，设计工程及数字孪生浙江省工程研究中心

• 论文地址：https://ieeexplore.ieee.org/abstract/document/10636188

• 项目地址：https://github.com/zhangcv123/MBRVO-Dataset

2.摘要

如何从运动模糊的图像中估计相机姿态仍然是视觉里程计的一个挑战。由于相机运动期间的曝光，模糊伪影是不可避免的。虽然当前的视觉里程计将它们视为噪声，我们认为有必要从模糊伪影中提取潜在信息，因为它们包含了相机运动的先验知识。基于此，我们提出了一种抗模糊的视觉里程计，它通过曝光轨迹提高了相机姿态估计的准确性。具体来说，我们首先使用曝光轨迹来指导相邻帧之间的像素匹配。然后根据曝光轨迹的大小生成模糊掩模。该掩模使姿态模块对严重模糊区域的特征信息关注较少。实验表明，我们提出端到端视觉里程计在大多数运动模糊数据集的序列上都取得了有竞争力的性能。

3.主要贡献

• 本文首先提出了一种方法，通过利用运动模糊中包含的先验来提高视觉里程计的性能。匹配约束指导光流的方向，模糊掩模使得姿态模块更多地关注在清晰区域的特征；

• 提出了第一个大规模运动模糊合成数据集，并已开源。它为解决模糊问题的视觉里程计研究提供了基础；

• 实验表明，我们提出的视觉里程计在运动模糊数据集上实现了有竞争力的性能。

4.核心思想与方法

本文的端到端视觉里程计通过使用模糊图像中包含的先验信息，在运动模糊场景中实现了更准确的位姿估计。如下图所示，本文的方法由两个模块组成。匹配模块估计代表图像运动信息的光流。姿态模块基于匹配模块提供的光流估计相机姿态。

MBR-VO（运动模糊鲁棒视觉里程计）框架的概述

匹配模块由两部分组成：MotionNet和FlowNet。MotionNet从运动模糊图像中提取曝光轨迹，而FlowNet利用曝光轨迹来限制相邻帧之间像素匹配的方向。

姿态模块由掩模分支和光流到姿态分支组成，如下图所示。掩模分支基于曝光轨迹生成掩模。光流到姿态分支使用光流、内在层和掩模作为输入来估计相机姿态。

姿态模块结构

5.实验仿真验证

6.总结 && 展望

本文提出了一种抗模糊的视觉里程计，它能够从运动模糊的图像中稳健地估计相机姿态。与之前忽略模糊图像内运动信息的方法不同，本文的方法从运动伪影中提取曝光轨迹作为先验信息。这使本文的方法在运动模糊数据集上实现了有竞争力的性能。此外，本文还提出了并发布了一个大规模运动模糊的SLAM数据集。

目前，MotionNet在低纹理区域生成的错误先验会降低某些序列上的视觉里程计性能。在未来，我们计划设计一个子网络来忽略这些区域。此外，我们将探索使用多帧图像估计相机姿态。通过具有低级别模糊的前帧，有可能从严重模糊的帧中估计运动。

近期知识星球部分文章分享

文章一：多模态传感器数据融合在无人机SLAM中的应用研究综述

文章二：四层因子图优化技术，提升机器人在复杂环境中的定位与情境感知能力

文章三：瑞典皇家理工学院学位论文，探索多自主水下航行器的同时定位与地图构建

文章四：提高LIO在激烈运动场景中的精度：基于SOD的自适应框架

文章五：1%的顶尖软件工程师与其他99%的不同之处在哪里？

文章六：主动SLAM的前沿：历史视角与未来研究方向

文章七：首个全面综述！移动机器人的全局激光雷达定位：最新进展与未来方向综述

本文仅做学术分享，如有侵权，请联系删文！

更多优质内容，请关注公众号：智驾机器人技术前线