主动近红外与深度图融合的SLAM方法调研

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

论文一Direct Near-Infrared-Depth Visual SLAM With Active Lighting

SLAM用视觉来做依赖于理想的光照条件，考虑解决在极端光照环境下还可以接受足够多的信息。依此来做位姿估计。

---

提示：以下是本篇文章正文内容，下面案例可供参考

一、文章主要贡献

● 提出了一种实用的直接NIR-Depth视觉SLAM方法，在极端光照下提供稳健的姿态估计。Surfel是表示三维信息的一种方式
● 提出了一种结合反照率变换模型的新型反照率一致性束调整方法。如下图所示，反照率图中白点为深度图噪点，会之后异常移除。
● 提出了一种基于金字塔的正态估计置信度方法来加权每个正态估计。

二、系统概述&⽅法

1.方法

为了克服集成的有源NIR光源对光度不一致的影响，采用了反照率变换模型。在变换模型中，使用深度图和表面法线信息计算表面反照率图，将原始NIR图像转换为反照率图。在前端跟踪中，NIR图像被转换为反照率图，用于直接图像对齐。在反照率一致性假设（标准漫反射）的基础上，后端直接束调整方法采用最小化反照率和几何误差的获得最佳的摄像机姿态，实现了在极端光照条件下鲁棒视觉SLAM的目标。

2.硬件：

采用Kinect V2，其中包含有Time-of-Fly(ToF)深度相机 ,可以生成深度图与NIR图像，并且有NIR光源。 此外带有5Watt的LED可见光源。

3.读入数据

实验角度：
1.不同光照条件，光明、昏暗与变化。
2.分别把NIR图像应用到 ORB-SLAM2 、BAD-SLAM与该文中，做效果比较。
3.比较了NIR 与可见光，用上了LED，将RGB-D与NIR-D做对比。
4.消融实验，分为了只用深度、深度加初始NIR、深度加反射图、最终的反射恒定 BA矫正结果。

---

总结

● 从该文中看出，提出了新的信息获取以提升光照条件不好情况下的提取信息能力，
个人感觉该研究主要聚集在前端的数据提取处理，以及后端的一定优化，整体框架大体可能还是基于ORB-SLAM2或者其他， 如果要做这个方向需要首先把实验中提出的那些经典框架代码吃透，起码可以调用相应功能的端口。
● 实验思路值得学习，考虑如何实现实验2中提到的改变经典框架的数据输入，与原理。
● NIR图像与深度结合获取位姿，文中提到原理与[3]相似，再考虑进行的实验2、3 ，处理方法与RGB-D相近。具体需要看源码。