最新综述！3D生成进展的全面调研

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【3D生成】交流群

扫描下方二维码，加入CVer学术星球，可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文搞科研，强烈推荐！

论文题目：Advances in 3D Generation: A Survey

论文链接：https://arxiv.org/abs/2401.17807    

随着EG3D、DreamFusion和Instant3D的发布，3D生成技术实现了令人惊叹的建模质量并在全球范围内迅速普及。这些技术拓展了人们对生成式AI和神经渲染能力的认识。那么，这些先进的3D生成技术是如何构建方法论及路线图以生成高质量且多样的3D模型？它们又是如何结合3D表征和生成式AI技术实现人脸、人体和物体的生成、编辑以及其他创造性任务呢？我们的综述论文将会给您提供这些问题的答案。 

在本篇综述中，我们旨在深入探讨3D生成的方法论，并建立了包括三维表征、生成方法、数据集及相应应用在内的结构化路线图。我们希望通过该综述，能够引导读者们更全面地了解3D生成的相关方向以及最新进展。此外，我们还着重讨论了3D生成领域所面临的挑战，诸如如何确保生成的3D模型在质量、真实性和多样性方面达到更高标准， 以期推动3D内容生成领域的进一步发展。

在本综述的第一章中，我们首先介绍了3D生成的意义和相关技术的整体发展，并讨论了本论文的贡献和整体结构，便于读者快速定位相关研究问题。

图1  综述的主要结构，内容包括3D表示、3D生成方法、数据集和应用。

接下来本文介绍了主要神经场景表示。在3D生成领域中，采用适当的3D表示至关重要。生成过程通常涉及相关的场景表示和可微渲染算法。本文将场景表示分为三类分别进行介绍：显式场景表示、隐式表示和混合表示，并展示了相应的可微渲染方法（如光线投射、体积渲染、光栅化等），以便优化场景表示。    

    

图2  用于3D生成的主要神经场景表示以及可微渲染算法。

文章随后探讨了各种算法范式的3D生成方法，主要包括四个类别：前馈生成（通过前向传递中直接生成结果）、基于优化的生成（每次生成需要迭代优化）、程序生成（根据规则创建3D模型）以及生成式新视图合成（生成多视角图像）。基于这四个类别，本文描绘了生成技术的主要分支，以及相关工作和随后的发展。   

图3  3D生成的进化树，展示了3D生成方法的主要分支及其的发展。

在前馈生成章节，本文介绍了各类生成方法的模型，并按照这些模型分别进行了介绍。   

图4  用于3D生成的主要生成方法。包括 (a)生成对抗网络，(b)扩散模型，(c)自回归模型，(d)变分自编码器和(e)归一化流。    

文章也详细列出了用于3D生成的相关数据集，根据数据类型，发表年份，样本数量以及样本内容进行了整理。

此外，文章讨论了3D生成的各种应用，包含人体生成，人脸生成，场景/物体生成以及3D编辑。   

图5  3D生成的相关应用。

生成式AI和神经渲染技术的快速发展，使得高质量且多样化的3D模型得以生成，进而广泛应用于各类内容制作。这些技术的应用不仅丰富了娱乐产业，还为虚拟现实、增强现实、工业设计等领域带来了前所未有的创新。然而，随着3D生成技术的普及，如何确保生成的3D模型在质量、真实性和多样性方面达到更高标准，成为研究人员和技术人员面临的重要挑战。我们在最后阐述了3D生成领域潜在的挑战，并总结了文章的内容与贡献。

在CVer微信公众号后台回复：论文，即可下载论文和代码链接！快学起来！

3D生成和扩散模型交流群成立

扫描下方二维码，或者添加微信：CVer444，即可添加CVer小助手微信，便可申请加入CVer-3D生成/扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF等。
一定要备注：研究方向+地点+学校/公司+昵称（如3D生成/扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer444，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集近万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请点赞和在看