ICCV 2019 | 从多视角RGB图像生成三维网格模型Pixel2Mesh++

本文发表于 ICCV 2019，由复旦大学、Google 公司和 NURO 公司合作完成。文章提出了从几张已知相机位置的多视角彩色图片生成三角网格模型（3D Mesh）的网络结构。 

Github 链接：

https://github.com/walsvid/Pixel2MeshPlusPlus

模型架构

得益于深度学习的强大表征能力，也来越多的工作关注三维形状生成任务。之前的工作大多直接从先验中直接学习形状，而本文使用图卷积神经网络（GCN [1]），从多视角图片的交叉信息学习进一步提升形状质量。相比于直接建立从图像到最终 3D 形状的映射，本文预测一系列形变，逐渐将由多视角图片生成的粗略形状精细化。

受传统多视角几何的启发，本文从粗略形状的网格顶点周围采样候选的形变位置，利用多视角图片的统计一致性特征来推理形变的可能位置。大量的实验表明，本文的模型可以生成准确的 3D 形状，不仅从输入角度看似合理，而且可以与任意视点很好地对齐。得益于物理驱动的网络结构模块，本文的精细化粗略形状（Coarse Mesh Refinement）的网络结构还展现了跨不同语义类别、不同输入图像数量和初始网格质量的泛化能力。

研究动机

▲ 图1. 不同方法在多个视角的3D-2D对齐情况

凭借深度学习的惊人表示能力，许多文章已经证明了可以仅从单个彩色图像成功生成 3D 形状。然而，由于仅从一个角度观察物体视觉证据有限，基于单个图像的方法通常会在被遮挡的区域中产生粗糙的几何形状，并且在推广到非训练域数据的情况下进行测试时效果不佳，例如跨语义类别。

添加更多的几张图像是为三维形状生成系统提供有关 3D 形状的更