HumanGaussian：基于高斯溅射的文本驱动3D人体生成

HumanGaussian：基于高斯溅射的文本驱动3D人体生成

HumanGaussianGithub Repo for "HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting"项目地址:https://gitcode.com/gh_mirrors/hu/HumanGaussian

项目介绍

HumanGaussian 是一个创新的框架，旨在通过文本提示生成高质量的3D人体模型。该项目由来自CUHK、Tencent AI Lab、PKU、HKU和NTU的研究者共同开发。HumanGaussian利用高斯溅射技术，有效地优化了3D表示，生成了具有精细几何细节和逼真外观的3D人体模型。

项目技术分析

HumanGaussian的核心技术包括：

1. 结构感知SDS（Structure-Aware SDS）：通过同时优化人体外观和几何结构，利用多模态分数函数从RGB和深度空间中提取高斯密度增加和修剪过程。
2. 退火负提示引导（Annealed Negative Prompt Guidance）：将SDS分解为噪声生成分数和清洁分类器分数，有效解决了过饱和问题，并通过仅修剪阶段进一步消除了浮动伪影，增强了生成过程的平滑性。

项目及技术应用场景

HumanGaussian的应用场景广泛，包括但不限于：

• 虚拟现实（VR）和增强现实（AR）：为虚拟环境提供逼真的人体模型。
• 电影和游戏制作：快速生成高质量的3D角色模型。
• 时尚和广告：通过3D人体模型展示服装和配饰。
• 医学和健康：用于人体结构的研究和教育。

项目特点

• 高效性：HumanGaussian在单个NVIDIA A100 GPU上仅需一小时即可完成优化过程。
• 高质量：生成的3D人体模型具有精细的几何细节和逼真的外观。
• 灵活性：支持零样本学习，即可以在不进行进一步微调的情况下，使用未见过的姿态序列对预训练的模型进行动画处理。
• 易用性：提供了详细的安装和使用指南，以及预训练模型和示例代码，方便用户快速上手。

结语

HumanGaussian是一个前沿的3D人体生成框架，它通过创新的技术手段，为用户提供了一个高效、高质量且易于使用的解决方案。无论你是从事虚拟现实、游戏开发、时尚设计还是医学研究，HumanGaussian都能为你提供强大的支持。立即尝试，体验前所未有的3D人体生成技术吧！

---

参考链接：

• 项目主页
• 论文
• arXiv
• 演示视频

安装指南：

git clone https://github.com/alvinliu0/HumanGaussian.git
cd HumanGaussian
pip install -r requirements.txt

使用示例：

python launch.py --config configs/test.yaml --train --gpu 0 system.prompt_processor.prompt="A boy with a beanie wearing a hoodie and joggers"

动画示例：

python animation.py --ply "content/sample.ply" --motion "content/Aeroplane_FW_part9.npz" --play

致谢： 本项目建立在许多优秀的研究和开源项目之上，包括Threestudio、3DGS等。感谢所有作者的贡献！

引用：

@article{liu2023humangaussian,
    title={HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting},
    author={Liu, Xian and Zhan, Xiaohang and Tang, Jiaxiang and Shan, Ying and Zeng, Gang and Lin, Dahua and Liu, Xihui and Liu, Ziwei},
    journal={arXiv preprint arXiv:2311.17061},
    year={2023}
}

HumanGaussianGithub Repo for "HumanGaussian: Text-Driven 3D Human Generation with Gaussian Splatting"项目地址:https://gitcode.com/gh_mirrors/hu/HumanGaussian