基于ORB_SLAM2的可见光结合红外的定位及建图

基于ORB_SLAM2的可见光结合红外的定位及建图

一、论文题目：《Visual Search Based Indoor Localization in Low Light via RGB-D Camera》

作者：Yali Zheng, Peipei Luo, ShinanChen, Jiasheng Hao, Hong Cheng

适应场景：低光照条件下室内场景

解决问题：1）移动平台上的室内定位问题；2）在DBOW框架中融合2D红外特征及3D深度特征来提高匹配结果

框架：

A. 图像预处理

首先，利用3×3掩模对红外图像进行中值滤波去噪，然后采用直方图均衡化的方法对去噪后的红外图像进行变换。

B. 基于红外特征融合三维深度特征的图像表示

从每个增强的红外图像中提取1000个ORB特征；从每个深度图像中提取ISS特征，并使用FPFH（快速点特征直方图）将三维特征描述为一个33维的向量。

C.图像检索与数据库生成

在DBOW2框架中，将红外图像和深度图像的ORB特征和ISS+FPFH深度特征量化为稀疏的数值向量。在32维的ORB特征中填充1个0，这样它就可以与33维的深度特征向量一起生成数据库。

使用K-means聚类从训练序列离线创建字典，建立了一个层次树，并将其叶子表示为对应于ORB特征和FPFH特征的数据集中的词汇。

D. 图像匹配

首先，通过bag-of-words算法中的词汇将红外图像和深度图像对转换成向量。

相似度衡量

得分归一化

效果：

二、论文题目：《A VSLAM Fusing Visible Images
and Infrared Images from RGB-D camera for Indoor Mobile Robot》

作者：Zhexiao Zhang, Zhiqian Cheng,Geng Wang, and Jimin Xu, Shanghai Jiao Tong University

该工作在上一篇文章的基础上开展。

适应场景：低照明或暗黑的室内场景

解决问题：移动机器人室内SLAM

方法：基于ORB-SLAM2

A. 红外热图像预处理

采用3x3掩模对红外图像进行中值滤波以降噪；对去噪后的红外图像进行直方图均衡化，以增加图像的强度。

B. 地图中可见光与红外图像信息的融合

可见光传感器坐标系与红外传感器坐标系的对齐

C.帧和关键帧

每一帧包含可见光图像和红外图像的ORB特征，关键帧里包含词袋向量，每一帧的位姿由视觉摄像头的位姿表示。

D. 特征匹配

可见光图像与红外图像分开进行特征匹配，地图点也分别保存。

E. Bundle Adjustment

（1）Motion-only BA

最小化可见光地图点与可见光关键帧匹配的点之间，以及红外地图点与红外关键帧匹配的点之间重投影误差。

（2）Local BA

优化局部窗口中的关键帧及关键帧中的点的重投影误差。

（3）Full BA优化所有关键帧和地图点。

F. 重定位和回环检测

分别计算可见光和红外的词袋向量相似度，再进行加权。

效果：低照明条件下效果较好。