不到1s生成mesh! 高效文生3D框架AToM

论文题目： AToM: Amortized Text-to-Mesh using 2D Diffusion
论文链接： https://arxiv.org/abs/2402.00867 项目主页： AToM: Amortized Text-to-Mesh using 2D Diffusion

随着AIGC的爆火，生成式人工智能在3D领域也实现了非常显著的效果，但是现有的文生3D模型仍然存在很多局限，例如主流的文生3D方法需要逐文本优化（per-prompt optimization)，生成过程非常耗时。此外，这些方法的可扩展性仍有待提高，对于训练分布之外的未见文本(unseen prompt)，模型无法生成。

本文介绍一篇来自Snapchat、KAUST和多伦多大学合作完成的工作AToM（Amortized Text-to-Mesh using 2D Diffusion）。AToM是一种可以跨多个文本提示进行优化的三维生成框架，其可以在不到1秒的时间内直接生成高质量的纹理网格，训练成本相比逐文本优化方法至少降低 10 倍，并且具有更好的泛化性能，对未见的文本提升，可以轻松地应对。AToM的关键idea是构建了一种基于triplane的文本到3D模型生成框架，并且设计了一种两阶段Amortized优化策略，这样可以保证模型训练过程的稳定性，同时提高可扩展性。AToM可以灵活的掌握2D扩散模型中的先验，根据用户输入的文本提示在短时间内完成相应3D模型的生成。