Tailor3D: Customized 3D Assets Editing and Generation with Dual-Side Images. 由双面图像的定制驱动的3D物体编辑和生成

• Github代码: Link to Github
• Arxiv论文: Link to Arxiv
• 主页: Link to Project
• Youtube视频: Link to Youtube
• Bilibili视频: Link to Bilibili
• Hugging Face Demo: Link to Hugging Face Demo

Tailor3D是一个快速的3D物体编辑框架。通过结合2D图像编辑和快速3D重建技术，它显著提升了3D物体编辑的效率。

1. Introduction

2D生成：已可实现编辑，3D生成：不可编辑且可控性差。
近年来，像Stable Diffusion [1] 和 ControlNet [2] 这样的技术革新了2D AI生成内容（AIGC），使得文本到图像合成、图像编辑和风格迁移变得更加便捷和高效。同时，3D AIGC的潜力也被认可，通过整合文本和图像，直接生成3D对象，大大降低了成本本。尽管text-to-3D和image-to-3D的质量越来越高，但是可控的3D物体的生成，以及对于3D物体的编辑仍然较少。利用大规模3D资产数据集和Transformer模型得到了Large Reconstruction Model能够实现图片到3D重建。因此我们提出一种3D物体定制和编辑的新范式，即首先在2D上进行生成和编辑工作，再使用Feed-Forward框架重建得到3D物体。

3D生成中的Feed-Forward方法和为什么选择前后两个视角。
针对3D生成，早期的基于优化的方法使用多视图稳定扩散，生成细粒度对象，但速度较慢，需耗时数分钟到数小时。而利用大规模3D资产数据集和Transformer模型的Feed-Forward方法，现在可以在几秒钟内创