不同尺度空间的室内三维重建问题技术路线

博客下载地址

1、小型场景

框架1 = 几帧单幅深度图像 + 简单图像拼接（ICP算法族）；

框架2 = 多帧单幅深度图像 + 相机位姿刚性变换（ICP算法族）+多个深度图像拼接(TSDF方法族）；
关键元素：ICP算法族、TSDF算法族。TSDF（Truncated Signed Distance Function）
Change：引入相机位姿变换和TSDF算法。

2. 相机移动的小型场景

2.1. 像素级别：使用KinectFusion的经典方法，也可使用通用双目相机，完成小型场景像素级别重建。使用框架2.
2.2. 特征点级别：特征点级别重建，三维重建问题转化为经典的SLAM问题。引入经典的SLAM的方法——滤波方法 和 对应的地图表示的另一种方式拓扑地图。

单目相机：

框架3= 多帧二维图像 + 特征点检测算法+ 特征点深度计算/相机位姿刚性变换（PNP算法）+ 滤波方法（EKF等框架（运动模型+观测模型））+ ANN/RANSAC/ICP/……；
关键元素：特征点检测、特征点匹配（近邻方法）、PNP算法（三维计算）、滤波方法族、RANSAC。
Change：
1) 基于特征点引入特征提取和特征点模式识别方法，分别为特征点检测算法族 和近邻搜索方法族。
2) 基于特征点的三维计算，引入PNP算法族。
3) 基于滤波框架，线性滤波方法族，用于同时优化相机和特征点刚性变换的误差方程。

双目相机：

使用双目相机的优势在于可获得标准的相机基线，得到空间的绝对尺度，并同时可根据视差算法得到特征点的深度信息。可以使用三维稀疏重建的方法。
框架4= 多帧成对二维图像 + 特征点检测算法/视差计算算法（特征点深度计算）+ 相机位姿刚性变换（ICP算法）+ RANSAC/ICP/……；
关键元素：视差方法（深度计算）、稀疏匹配（ICP方法族）。
Change：
（1）深度计算：使用视差算法 Vs. PNP算法。
（2）位姿刚性变换变换到ICP算法族。
注意：深度计算之后，整体框架类似于KinectFusion方法，区别在于点集变得稀疏，因此稠密点匹配算法替换为稀疏点匹配算法（ANN方法族）

3. 相机移动的中型场景

3.1. 像素级别： 正如上一篇所说的，是一个大型工程问题，不是一个算法和框架可以描述的，需要更多设备和人的配合。再次不再对其进行多加描述。
3.2. 特征点级别：
特征点级别重建，经典的SLAM的方法为滤波方法。而后借鉴SFM思想的平差方法–捆集优化BA（Bundle Adjustment）引入到SLAM中来，因此形成了另一种框架。
框架5= 多帧二维图像 +特征点检测算法+ 特征点深度计算/相机位姿刚性变换（PNP算法）+BA方法（关键帧平差方法）+ ANN/RANSAC/ICP/……+闭环检测（场景匹配方法族）；
关键元素：BA方法（图优化方法等）、闭环检测（点集组合场景检测）。
Change：
1) 类似于框架3，位姿和场景同时优化的方法从滤波框架转换到BA框架，引入关键帧平差方法。
2) 基于BA方法，使用关键帧，形式化为无向图，一般使用图优化方法。常用的基础库为G2O。
3) 引入闭环检测，需要使用场景匹配方法（基于特征点），经典方法为使用BOW模型。

4. 相机长期移动的大中型场景

特征点和目标级别： 大型场景需要构建大型地图，应对长期误差累计而发展的方法闭环检测重要性增加。对此，闭环检测引入目标识别，进而引入基于目标检测的场景识别。
框架6= 多帧二维图像 + 特征点检测算法+ 特征点深度计算/相机位姿刚性变换（PNP算法）+目标检测（目标检测方法族）+目标识别（目标识别方法族） + BA方法（关键帧平差方法）+ ANN/RANSAC/ICP/……+ 闭环检测（基于特征点的闭环检测+基于目标的闭环检测+场景检测）；
关键元素：目标检测（目标特征提取与目标识别）、场景检测标记（基于目标）。
Change：
1) 基于框架5或者进行改进，引入基于目标的特征提取方法（目标提取）族和模式识别方法（目标识别）族。由此根据不同的场景需要使用不同的目标检测的通用方法。由此一大批模式识别方法融入SLAM过程，从简单的ANN，到MSVM，到DNN方法。
2) 闭环检测之中增加基于目标的闭环检测，和场景识别。场景检测从BOG模型到基于图的场景识别模型，也可以使用DNN方法中CNN方法。
3) ………………………………..。

总结：

三维重建是一个工程问题，发展到三维场景重建，SLAM问题及应对方法相应而生。经典可用的SLAM方法为把SLAM问题转化为滤波方法，是一个真正可用的解决SLAM问题的方法。而后BA方法出现，并随着计算机计算能力的提高，BA方法逐渐应用于SLAM过程。更宽范围的SLAM方法引入目标识别，模式识别的方法（从ANN到MSVM到CNN）引入SLAM，把SLAM发展为“一切问题都可以用模式识别方法来解决”的巨坑。