三维重建 | 单张RGB图片生成三维网格模型

之前阅读过的一篇论文，现将笔记记在此处。

论文地址
论文源码

简介

文章提出了一种端到端的深度学习结构，可以实现从单张彩色图片生成三角形网格的3D模型。以往的方法受限于深度神经网络性质的限制，将点云和体积表示的三维形状转换为易于使用的网格模型存在诸多问题。与以前的方法不同的是，这篇文章的网络用基于图的卷积神经网络（GCN）表示三维网格，并利用从输入图像中提取的感知特征对椭球体进行渐进式变形，从而生成正确的几何图形。采用由粗到精的策略使整个变形过程稳定，并定义了各种网格相关损失来捕捉不同层次的特性，以保证视觉上美观和物理上精确的三维几何。大量实验表明，该方法不仅能定性地生成细节较好的网格模型，而且与目前最先进的三维形状估计方法相比，具有更高的三维形状估计精度。

点云和体积都丢失了对于重建网格模型不容确实的重要表面细节，即网格，然而三维网格对于许多应用是更加可取的，因为其具有轻量级、能够模拟形变细节、容易变形为动画等诸多优点。