三维重建 | 单张彩色图像三维重建学习框架

简介

本周阅读了一篇三维重建相关的论文，现将论文笔记记在这里
论文地址

作者提出了一个学习框架来推断紧凑网格表示的参数，而非从网格本身学习。这种紧凑的方法采用自由变形和稀疏的线性组合来编码，可以做到从单个图像进行3D重建。与以往的工作不同，文章不依赖轮廓和地表来进行三维重建。在合成数据集和真实数据集上对这种方法进行评估，均得到了非常良好的结果。学习框架以低维的方式有效重建了3D目标，同时保留了其重要的几何特征。

人工智能领域一个特别令人感兴趣的问题就是从单张彩色图片中恢复3D信息，这一极具挑战性和高度模糊的问题通常是结合关于场景的先验知识（例如形状）来解决的。许多文章表明，使用场景先验知识来解决3D重建的问题是非常有用的。本文也利用了这种认识。

随着深度学习的进展，人们对于从2D到3D重建做了越来越多有价值的探索，这些探索大多依赖于体积形状表示，这种方法可以说是卷积从2D推广到3D的简便性而产生的。这个方法的一个显著缺点就是计算量和存储量随着解析度的增加而呈立方增长。对此，已经提出八叉树（octrees）和点云（point cloud）表示法来提高学习效率。然而，尽管其性能有所提高，这种表示仍然不能像密集的3D网格表示那样捕捉到细粒度的几何图形。本文工作的主要是提出一种三维网格模型的紧凑表示，使我们能够为单图像三维重建任务学习其参数。利用密集的网格表示来更好地解锁细粒度几何体。为了以一种可伸缩和计算高效的方式实现这一点，提出了一个基于图的框架，该框架将3D网格对象嵌入到低维空间中，并且仍然允许我们用非常详细的几何图形来实现高质量的重建。通过12中的工作得出了启示，其中提出了一个嵌入图来紧凑地模拟三维模型类之间的内在变化。任何3D网格模型都可以根据自由形式变形(FFD)和字典中的稀疏线性表示来参数化。FFD将3D网格模型嵌入到网格空间中，在网格空间中，可以通过重新定位较少数量的控制点来执行变形。“自由形式”意味着无论对象是什么，不管它是什么拓扑，都可以使其变形。更重要的是，它还保存了对象的视觉方面。该方法首先对图像的潜在空间进行分类，从图中检索出粗略的3D模型。然后，通过将图像特征映射到形状参数空间FFD和稀疏线性组合参数的前馈神经网络来估计紧致形状参数。然后，通过将估计的变形应用于所选择的模型来恢复密集的3D网格模型。

主要贡献

1.提出了一种新的学习框架，从单幅图像中通过低维嵌入空间估计一个密集三维网格模型。
2.通过合成数据定性和定量证明了该学习框架能够从一幅图像中估计出正确的3D模型。
3.展示了来自真实世界图像的密集而逼真的3D重建结果。

文章结构

文章利用了12提出的紧凑三维网格表示，提出了一种能够在给定特定类别（如自行车、汽车、椅子等）单幅图像下估计密集的三维网格模型的结构。通过训练分类器估计指数，训练前馈神经网络从卷积自动编码器（CAE）学习的图像的潜在空间回归自由变形和系数线性组合参数。