slam特征点深度 svd_特征法视觉SLAM逆深度滤波的三维重建

点击上方“新机器视觉”，选择加"星标"或“置顶”

重磅干货，第一时间送达

特征法视觉SLAM逆深度滤波的三维重建

张一, 姜挺, 江刚武, 余岸竹, 于英     

信息工程大学地理空间信息学院, 河南 郑州 450001

收稿日期：2018-09-06；修回日期：2019-02-26

基金项目：国家自然科学基金(41501482；41471387；41801388)

第一作者简介：张一(1989-), 男, 博士生, 研究方向为数字摄影测量与视觉SLAM。E-mail:276690308@qq.com

摘要：针对现有特征法视觉SLAM只能重建稀疏点云、非关键帧对地图点深度估计无贡献等问题，本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法，可利用视频序列影像实时、增量式地构建相对稠密的场景结构。具体来说，设计了一种基于运动模型的关键帧追踪流程，能够提供精确的相对位姿关系；采用一种基于概率分布的逆深度滤波器，地图点通过多帧信息累积、更新得到，而不再由两帧三角化直接获取；提出一种基于特征法与直接法的后端混合优化框架，以及基于平差约束的地图点筛选策略，可以准确、高效解算相机位姿与场景结构。试验结果表明，与现有方法相比，本文方法具有更高的计算效率和位姿估计精度，而且能够重建出全局一致的较稠密点云地图。

关键词：视觉即时定位与地图构建    三维重建    逆深度滤波器    运动模型    后端混合优化框架    

3D reconstruction with inverse depth filter of feature-based visual SLAM

ZHANG Yi, JIANG Ting, JIANG Gangwu, YU Anzhu, YU Ying     

Institute of Surveying and Mapping, Information Engineering University, Zhengzhou 450001, China

Foundation support: The National Natural Science Foundation of China (Nos. 41501482; 41471387; 41801388)

First author: ZHANG Yi (1989—), male, PhD candidate, majors in digital photogrammetry and visual SLAM. E-mail:276690308@qq.com.

Abstract: Aiming at the problem that the current feature-based visual SLAM can only reconstruct a sparse point cloud and the ordinary frame does not contribute to point depth estimation, a novel 3D reconstruction method with inverse depth filter of feature-based visual SLAM is proposed, which utilizes video sequence to incrementally build a denser scene structure in real-time. Specifically, a motion model based keyframe tracking approach is designed to provide accurate relative pose relationship. The map point is no longer calculated directly by two-frame-triangulation, instead it is accumulated and updated by information of several frames with an inverse depth filter based on probability distribution. A back-end hybrid optimization framework composed of feature and direct method is introduced, as well as an adjustment constraint based point screening strategy, which can precisely and efficiently solve camera pose and structure. The experimental results demonstrate the superiority of proposed method on computational speed and pose estimation accuracy compared with existing methods. Meanwhile, it is shown that our method can reconstruct a denser globally consistent point cloud map.

Key words: visual simultaneous localization and mapping    3D reconstruction    inverse depth filter    motion model    back-end hybrid optimization framework    

视觉即时定位与地图构建(visual simultaneous localization and mapping, VSLAM)技术，以视频序列影像为输入，能够在恢复相机运动轨迹的同时，实时重建未知场景的三维结构，可用于无人机、车辆、机器人等平台的智能环境感知、自动驾驶与导航^[1]，也可用于应急测绘、灾害与突发事件监测、虚拟与增强现实等场景，具有广阔的应用前景与市场潜力^[2-3]。

目前视觉SLAM算法主要采用基于关键帧优化的特征法^[4-6]进行实现，其基本流程是：首先从每幅影像中提取出具有可重复性与显著区分性的点、线特征；使用不变性描述符在后续帧中对特征进行匹配，利用多视图几何原理恢复相机位姿与结构，然后通过光束法平差^[7]进行联合优化。

在诸多特征法SLAM中最具代表性的是ORB-SLAM^[8-9]，它采用统一的ORB^[10](oriented FAST and rotated BRIEF)特征进行计算，在室内外环境中均能稳健、实时运行，可在大视角差异下完成重定位与闭环检测，并且由像点匹配累积的共视^[6]信息可用于构建强壮的平差与图优化^[11]网络，有利于得到全局最优解。ORB-SLAM的主要缺陷在于，地图点通过两关键帧三角化直接得到，对于短基线视频影像，其深度不确定性较大，为避免粗差必须采取严格的筛选策略，导致所构点云地图十分稀疏。此外，ORB-SLAM的非关键帧在追踪完后即被抛弃，其对地图点深度信息无贡献，造成了资源浪费。

从应用层面看，稀疏点云仅可用于传感器的自身定位，而较高级的视觉导航、避障、虚拟增强现实、模型重建、语义识别等应用，都需要更加稠密的地图表达。为此，直接法相关技术获得了更多关注，它根据像素亮度差异直接构建优化问题求解相机位姿，并采用一种基于概率分布的深度滤波器模型^[12-14]，利用多帧影像更新地图点深度信息。早期的直接法多根据稠密深度图进行计算，以最大化利用影像信息并增加稳健性^[15-17]，这类算法一般需要GPU加速来满足计算要求。文献[14, 18]使用具有显著梯度的像素，在CPU上完成了较稠密的实时重建；文献[13, 19]提出了仅需少量像素的稀疏直接法，使算法具有更强的适用性。

直接法不必进行特征提取与匹配，因而具备了更高的计算效率，但它易受相机曝光、环境光源等因素影响，当场景亮度变化剧烈时可能导致求解失败，稳健性不足^[2]。另外，直接法优化基于像素本身进行操作，该过程需要完整的影像数据，对于大规模场景来说，由于设备存储空间有限，直接法难以进行全局质量控制。为此文献[20]将概率分布构图方法应用于ORB-SLAM中，使得其在保留特征法优点的同时，能够重建出精确的稠密场景结构。但由于其构图模块独立于ORB-SLAM系统并具有若干关键帧的延迟，严格意义上并不属于在线处理，并且构图结果无法用于后续帧的位姿追踪，作用有限。

在总结前文算法的基础上，本文提出一种特征法视觉SLAM逆深度滤波的三维重建方法，无须GPU加速即可实时、增量式地重建出较为