DreamStone Image as a Stepping Stone for Text-Guided 3D Shape Generation
DreamStone图像:作为文本引导的三维形状生成的垫脚石
Zhengzhe Liu, Peng Dai, Ruihui Li, Xiaojuan Qi, and Chi-Wing Fu
摘要
本文提出了一种新的文本引导的3D形状生成方法DreamStone,该方法使用图像作为连接文本和形状模态的垫脚石,无需成对的文本和3D数据即可生成3D形状。我们方法的核心是两阶段的特征空间对齐策略,利用预训练的单视图重建(SVR)模型将CLIP特征映射到形状:首先,将CLIP图像特征映射到SVR模型的细节丰富的3D形状空间,然后将CLIP文本特征通过鼓励渲染图像与输入文本之间的CLIP一致性映射到3D形状空间。此外,为了超越SVR模型的生成能力,我们设计了文本引导的3D形状风格化模块,可以在测试期间增强输出形状的新颖结构和纹理。进一步,我们利用预训练的文本到图像扩散模型来增强生成多样性、保真度和风格化能力。我们的方法通用、灵活、可扩展。它可以轻松地与各种SVR模型集成,以