Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images

论文：Pixel2Mesh: Generating 3D Mesh Models from Single RGB Images

背景

• 从单一角度来推断三维形状对于计算机说具有挑战，值得研究。

• 现有技术：

  基于体素单一角度来推断三维形状,计算量大，精度与分辨率之间难以平衡。

  基于点云单一角度推断三维形状，点云之间缺少连接，重建之后表面不光滑

提出问题：

• 能否用三角网格来根据单张RGB图像信息进行三维重建

可行性分析：

• 网格是轻量级的
• 网格可以对三维形状细节进行建模

​

挑战：

• 如何在神经网络中表示一个网络模型（不规则的图），而且要从二维规则网络给定颜色图像中提取形状细节
• 如何让更新顶点的位置，让越来越与图像中的形状靠近

贡献：

• 第一次提出了端到端的从单张RGB图像到三维模型的神经网络
• 设计了投影层，将感知的图像特征融入以GCN为代表的三维几何中
• 网络从粗到细进行学习，更可靠。

解决方案：

• 对于挑战一：

如何在网络中表示一个网格模型？如何从颜色图像中提取形状细节？

作者采用GCN网络，将网格看出点与边连接的拓扑结构，GCN模型可以用来训练拓扑结构。对于单张图片，作者采用了VGG-16模型从颜色图像中提取基于形状特征。