ClotheDreamer：上海大学联合腾讯等高校推出的3D服装生成技术

本文链接：https://blog.csdn.net/qq_19841021/article/details/144408380

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发非常感兴趣，我会每日跟你分享最新的 AI 资讯和开源应用，也会不定期分享自己的想法和开源实例，欢迎关注我哦！

🥦 微信公众号｜搜一搜：蚝油菜花 🥦

🚀 快速阅读

技术背景：ClotheDreamer是由多所高校和腾讯优图实验室联合推出的3D服装生成技术。
主要功能：支持文本驱动的3D服装生成、高保真渲染、可穿戴性、物理精确动画等。
技术原理：基于Disentangled Clothe Gaussian Splatting (DCGS)和双向Score Distillation Sampling (SDS)等技术。

正文

ClotheDreamer 是什么

公众号: 蚝油菜花 - clothedreamer

ClotheDreamer是由上海大学、上海交通大学、复旦大学和腾讯优图实验室共同推出的3D服装生成技术。该技术能够根据文本描述生成高保真、可穿戴的3D服装资产。ClotheDreamer基于3D高斯模型，采用Disentangled Clothe Gaussian Splatting (DCGS)技术实现服装与人体的分离优化，并通过双向Score Distillation Sampling (SDS)提升服装渲染质量。此外，ClotheDreamer支持自定义服装模板，生成的服装能够适配不同体型，适用于虚拟试穿和物理精确动画。

ClotheDreamer的核心目标是提供一种高效、灵活的3D服装生成解决方案，帮助设计师、游戏开发者、电影制作人等在虚拟环境中快速生成和迭代3D服装模型，从而提高工作效率和创作自由度。

ClotheDreamer 的主要功能

文本驱动的3D服装生成：根据文本描述自动生成相应的3D服装模型。
高保真渲染：生成的3D服装具有高度的细节和真实感。
可穿戴性：生成的服装模型是可穿戴的，能够用于虚拟试穿。
物理精确动画：支持生成的服装进行物理精确的动画效果。
自定义模板输入：支持用户上传自定义的服装模板，生成个性化的3D服装。
适应不同体型：生成的服装能够适配不同体型的虚拟人物。

ClotheDreamer 的技术原理

Disentangled Clothe Gaussian Splatting (DCGS)：一种新颖的表示方法，将服装和人体分别表示为高斯模型，支持独立的优化和渲染。
双向Score Distillation Sampling (SDS)：利用预训练的2D扩散模型优化3D服装和人体渲染，分别对服装和人体RGBD渲染进行指导，提高生成质量。
文本描述解析：使用语言模型（如ChatGPT）解析文本描述，确定服装的类型和特征，为服装模型的初始化提供依据。
零样本学习：在没有看到特定类型的服装的情况下，生成相应的3D服装模型。
新的修剪策略：针对宽松服装提出的修剪策略，避免在优化过程中错误地移除有用的高斯点，保持服装的完整性。
模板引导的服装生成：使用自定义的服装模板网格引导3D服装的生成，提高生成过程的个性化和实用性。