《增强现实：原理、算法与应用》读书笔记（8）三维结合重建

《增强现实：原理、算法与应用》读书笔记（7）三维几何重建

在恢复了相机参数和深度图之后，往往还需要进一步重建出三维几何模型。根据三维信息的表达方法，可以分为：基于深度图融合的三维重建、基于点云的三维重建、基于体素的三维重建等。

基于深度图融合的三维重建

深度图是一种图像坐标系下的表达方式，每一幅图像的像素被赋予了在该相机下的深度。通过相机参数，深度图可以被反投到世界坐标系。与点云不同的是，深度图由像素的邻接关系定义了其拓扑结构，因此每张深度图都对应了世界坐标系下的一个曲面。

由于多幅深度图之间可能存在重叠，这种表示方法存在着很大的冗余，需要较大的存储空间。另外，在深度不连续的边界处，直接通过像素邻接关系来定义拓扑结构存在歧义。一些深度恢复算法假设局部深度平滑，这会导致不连续边界处的误差。

这些因素综合起来，使得多幅深度图反投到世界坐标系时，并不总是完美重合。因此，需要通过算法对多幅深度图进行融合，得到一个一致并且精简的三维模型。

基于深度图融合的三维重建方法有采用点云滤波的方式进行融合，例如有基于置信度融合的方法、多尺度融合方法、基于全局目标函数优化的方法等；也有通过将深度图转换为隐式表达进行融合，例如基于平行集的融合方法等。此外通过设定一个参考平面（例如地平面），基于深度图的三维重建方法可以用来恢复2.5D的场景，被广泛应用于城市场景的重建。

点云滤波融合方式

点云滤波融合方式指的是像滤波一样过滤掉点云中明显错误或矛盾的点，合并十分相似的点，最后留下信息突出的点。

基于置信度融合方法

基于置信度融合方法具体有很多，例如Merrell等（2007）提出通过计算每个深度的置信度，对当前帧的深度和参考帧的深度，根据其置信度进行加权平均，从而得到融合的深度，置信度为两者置信度之和。同时还需要剔除互相矛盾的点（主要是指遮挡关系不合理的点）。如果发生遮挡，需要减去相应深度的置信度值。如果置信度小于阈值，可以看做矛盾点舍去。因为深度的剔除容易造成空洞现象，所以需要对相应的空洞进行填补（如直接进行插值）。

多尺度深度融合方法

多尺度深度融合方法主要针对不同相机分辨率不同的问题。例如，Euhrmann等（2011）提出通过构造离散、多尺度的距离场来代表物体表面的不同层次的细节。通过定义4D的尺度空间（即3D空间加上一维尺度），作者采用八叉树的数据结构来存储深度图，并且根据每个像素的实际大小划分深度图的层次，从而将多尺度的距离场存入八叉树中，最后采用改进的移动四面体算法提取不同尺度的深度信息，从而获取物体的三维表面。

隐式表达

基于平行集的三维曲面表示是一种常见的隐式表达方法。平行集指的是一个函数的等势集合。为了在三维空间中表示二维平面$S$，一般定义空间中的势函数$\varphi :R^s\to R$，使其满足$\varphi (x)=0,x\in S$。基于平行集的表示方式，可以很直接地处理空间曲面的拓扑变化，而这在显式表达中通常难以处理。

基于点云的三维重建

三维点云可以看做对曲面表面的采样，是最简单的一种三维表达方式。使用点云表达三维信息并不是最适合稠密重建的方法。即便如此，由于点云的存储空间小，添加、删除点方便，格式简单通用，可以方便应用不同的算法。此外，由于相机跟踪阶段就可以得到稀疏点云，基于点云的表达可以无缝衔接在相机跟踪之后。

一类基于点云表达的三维重建方法采用平面扫描，通过在空间中一系列的参考平面上进行扫描，检测出光度一致性比较好的点进行重建。

另一种方法是采用表面区域生长的方式，该方法先通过特征匹配得到稀疏的匹配特征点，也就是稀疏的三维点云，然后从已有的稀疏点云不断扩张，并利用光度一致性、几何约束和可见性条件等对质量差的点进行过滤，然后不断重复以上匹配、扩张和过滤的过程，直至得到整个场景的比较稠密的三维点云。

基于体素的三维重建

体素法通过描述空间中的实体区域来表示几何信息。因此不只是表面，物体的内部也在体素中有体现。早期基于体素表达的三维重建方法多采用空间雕刻方法。