Make-A-Shape a Ten-Million-scale 3D Shape Model

Make-A-Shape: a Ten-Million-scale 3D Shape Model

Make-A-Shape: a Ten-Million-scale 3D Shape Model(Make-A-Shape:一个千万级的3D形状模型)

摘要

在训练自然语言和图像的大型生成模型方面取得了重大进展。然而，3D生成模型的进步受到其大量训练资源需求，以及低效，非紧凑和表达能力差的表示的阻碍。

本文介绍了一种新的三维生成模型Make-A-Shape，它是为大规模高效训练而设计的，能够利用1000万个公开可用的形状。

在技术方面，我们首先创新了小波树表示，通过制定子带系数滤波方案来有效地利用系数关系，从而紧凑地编码形状。然后，通过设计子带系数填充方案在低分辨率网格中布局表示，通过扩散模型使表示可生成。进一步，我们推导了子带自适应训练策略来训练我们的模型有效地学习生成粗和细节小波系数。最后，我们扩展了我们的框架，通过额外的输入条件来控制，使其能够从各种模式生成形状，例如，单/多视图图像，点云和低分辨率体素。在我们广泛的实验中，我们展示了各种应用，例如无条件生成，形状完成和条件生成在广泛的模态上。我们的方法不仅在提供高质量结果方面超越了最先进的技术，而且在几秒钟内有效地生成形状，通常在大多数情况下只需2秒即可实现。

框架

结论

总之，本文介绍了Make-A-Shape，一个新的3D生成框架，在超过1000万个公开可用的3D形状的庞大数据集上训练，能够在2秒内产生令人印象深刻的高质量3D形状。我们方法的核心是引入一系列新技术。这包括子带系数滤波方案，以帮助构建一个紧凑、富有表现力和高效的小波树表示，以最小的信息损失有效地编码2563 SDF。然后，采用子带系数填充方案，通过基于扩散的生成模型熟练地对小波树表示进行建模，并进一步推导子带自适应训练策略，实现对粗糙和稀疏细节系数的有效训练。此外，我们还扩展了Make-A-Shape，以接受各种模态的可选条件输入。我们广泛的实验证明了该模型在各种具有挑战性的条件下合成高质量3D形状的优势，包括单/多视图图像，点云和低分辨率体素，同时在训练期间需要最小的资源需求。值得注意的是，我们的模型不仅在数量上优于现有的基线，而且还演示了零射击应用，如部分形状完成。我们相信我们的工作将为其他3D表示的未来研究铺平道路，以实现大规模3D模型训练。