Advances in 3D Generation: A Survey（有关3D生成模型进展的调查 ）

生成 3D 模型是计算机图形学的核心，也是数十年来研究的焦点。 随着高级神经表示和生成模型的出现，3D 内容生成领域正在快速发展，使得能够创建越来越高质量和多样化的 3D 模型。 该领域的快速增长使得很难跟上所有最新发展。 在本次调查中，我们的目标是介绍 3D 生成方法的基本方法，并建立一个结构化的路线图，包括 3D 表示、生成方法、数据集和相应的应用程序。 具体来说，我们介绍了作为 3D 生成支柱的 3D 表示。 此外，我们还全面概述了有关生成方法的快速增长的文献，按算法范式的类型进行分类，包括前馈生成、基于优化的生成、程序生成和生成新颖视图合成。 最后，我们讨论可用的数据集、应用程序和开放挑战。 我们希望这项调查能够帮助读者探索这个令人兴奋的主题，并促进 3D 内容生成领域的进一步进步。

 论文链接

Advances in 3D Generation: A Survey

Introduction

神经辐射场（NeRFs）、扩散模型等生成模型的成功，促进了3D内容生成方面的显著进步。

在2D内容生成领域，诸如生成对抗网络、变分自编码器、生成人工智能已经取得了巨大成功。但3D内容生成领域遇到了极大的复杂性和困难，因为从2D到3D内容生成的转变并不是对现有2D生成方法的直接延伸。

一些3D生成方法

本调查论文旨在系统地探索3D内容生成领域的快速发展和多方面的进展。本文提供了一个结构化的概述和全面的路线图，涵盖了许多最近关注的3D表示、3D生成方法、数据集以及3D内容生成的应用，并概述了其中的挑战，旨在为读者提供对3D生成框架及其基本原理的快速理解。

本文的介绍内容

生成方法

本文探讨了各种各样的3D生成方法，根据它们的算法范式分为四类：前向生成，在前向传递中生成结果；基于优化的生成，每次生成都需要进行测试时间优化；程序化生成，根据一组规则创建3D模型；以及生成新视图综合，综合多视图图像而不是明确的3D表示进行3D生成。

 一些3D生成方法的示例

Generation Space：生成模型所操作的抽象空间，其中包含了模型学习到的数据分布和特征表示。

Reconstrution Space：生成模型输出的实际数据样本所在的空间，它决定了最终生成的3D对象的格式和渲染方式。这其中包括点云、网格、神经辐射场（NeRFs）。

Supervision：在3D空间监督和在2D空间监督，这其中涉及到信息表示和控制精度的差别。

Rendering：对于2D空间监督，使用渲染技术来生成图像。

前向生成（目前的主流方法）

使用生成模型直接产生3D表示。包括3D-GANs、扩散模型等。

3D-GANs及其变形：将GANs与各种3D表示相结合，3D生成过程可以被视为一系列对抗性步骤，其中生成器学习从输入潜在编码中创建逼真的3D数据，而判别器区分生成的数据和真实数据。通过迭代优化生成器和判别器网络，GANs学习生成与实际数据逼真程度相近的3D数据。

 HyperNeRFGAN：将NeRF表示作为生成3D物体的基础，并利用HyperNetworks生成NeRF网络的权重，以实现从2D图像到3D物体的映射。

扩散模型：扩散模型背后的关键思想是通过一系列称为前向过程的噪声驱动步骤，将原始数据分布转化为更简单的分布，如高斯分布。然后，模型学习反转这个过程，称为反向过程，以生成类似于原始数据分布的新样本。

一种基于神经辐射场和扩散模型的3D内容生成方法

基于优化的生成

利用预训练的多模态网络根据用户指定的提示来优化3D模型。主要方法包括基于用户提供的提示类型，使用文本和图像的基于优化的生成方法。

程序化生成

通常依赖预定义的规则、参数和数学函数来生成多样且复杂的内容，例如纹理、地形、关卡、角色和物体。程序化生成的一个关键优势是它们能够从相对较小的规则集中高效地创建各种形状。

生成新视图综合

从单个输入图像预测新视角。与传统的3D生成方法相比，它不显式利用3D表示来强制3D一致性，而是通常通过对3D信息进行条件化来采用一种3D感知方法。例如维持一个3D点云作为表示，可以投影到新视角上，然后通过GAN来虚构缺失的区域并合成输出图像。