GaussianAnything：多模态3D生成黑科技！南洋理工开源框架秒建可编辑高精度模型

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦

---

🚀 「3D建模师要失业？南洋理工祭出AI神器：文本秒变高精模型，支持任意角度魔改！」

大家好，我是蚝油菜花。你是否经历过——

• 👉 对着空白建模软件发呆3小时，不知从何下手
• 👉 手动调整网格到凌晨，模型纹理依然穿模
• 👉 甲方反复要求「改个角度看看」，渲染等到崩溃…

今天要揭秘的 GaussianAnything ，正在颠覆3D内容生产流水线！这个由南洋理工大学与上海AI Lab联合研发的框架，凭借三大杀手锏：

• ✅ 「一句话生成3D」：输入"赛博朋克机械猫"，5分钟得到可编辑模型
• ✅ 「360度无死角操控」：任意旋转/缩放/纹理替换，告别重复建模
• ✅ 「工业级精度」：点云结构化编码+级联扩散模型，细节堪比手工雕刻

从游戏资产到影视特效，连迪士尼都在测试的开源方案——接下来带你看AI如何重新定义数字内容创作！

🚀 快速阅读

GaussianAnything 是一个基于点云结构化潜空间和级联扩散模型的 3D 生成框架。

1. 核心功能：支持多模态输入，生成高质量、可编辑的 3D 模型，广泛应用于游戏、影视、VR/AR 等领域。
2. 技术原理：通过 3D VAE 编码器、点云结构化潜空间和级联扩散模型，实现几何与纹理的解耦，生成高质量的 3D 模型。

GaussianAnything 是什么

GaussianAnything 是由南洋理工大学 S-Lab 和上海 AI Lab 联合推出的 3D 生成框架。它基于交互式的点云结构化潜空间和级联的流匹配模型，能够生成高质量、可编辑的 3D 模型。

GaussianAnything 支持多模态条件输入，包括点云、文本和单/多视图图像，能够生成具有几何-纹理解耦的 3D 资产，便于后续编辑。在文本和图像引导的 3D 生成任务中，GaussianAnything 均超越现有方法，展现了更好的 3D 一致性和生成效果。

GaussianAnything 的主要功能

• 多模态条件输入：支持多种输入形式，包括点云、文本描述和单/多视图图像。
• 高质量 3D 生成：生成具有丰富细节和高质量表面的 3D 模型，支持不同分辨率和细节层次的输出。
• 高效的 3D 编辑能力：支持对生成的 3D 模型进行灵活的编辑，例如形状调整、纹理替换等。
• 支持多种输出格式：生成的 3D 模型支持导出为点云、高斯表面（Surfel Gaussian）或三角网格（Mesh），满足不同应用场景的需求。

GaussianAnything 的技术原理

• 3D VAE 编码器：用多视图 RGB-D（深度）和法线（Normal）渲染图作为输入，基于 3D-Attention Transformer 编码器将 3D 物体压缩到点云结构化的潜空间中，保留丰富的 3D 几何和纹理信息，降低潜空间的维度，提高训练效率。
• 点云结构化潜空间：基于 Cross Attention 将特征投影到稀疏的 3D 点云上，形成点云结构化的潜变量，保留 3D 物体的几何信息，支持高效的 3D 扩散模型训练。
• 级联扩散模型：第一阶段生成稀疏点云，确定 3D 物体的几何布局；第二阶段基于点云条件生成纹理细节，实现几何与纹理的解耦。
• 高质量解码器：用 3D Transformer 和上采样模块将点云潜变量逐步上采样为高分辨率的高斯表面（Surfel Gaussian），最终解码为稠密的 3D 模型。

如何运行 GaussianAnything

1. 设置 PyTorch 环境

# 下载
git clone https://github.com/NIRVANALAN/GaussianAnything.git

# 设置 PyTorch + xformers + pytorch3d 环境
conda create -n ga python=3.10
conda activate ga
pip install -r requirements.txt 
pip install "git+https://github.com/facebookresearch/pytorch3d.git@stable"

2. 安装 2DGS 依赖

pip install "git+https://github.com/hbb1/diff-surfel-rasterization.git"
pip install "git+https://gitlab.inria.fr/bkerbl/simple-knn.git"

3. 运行 Gradio 演示

python scripts/gradio_app_cascaded.py

资源

• 项目主页：https://nirvanalan.github.io/projects/GA/
• GitHub 仓库：https://github.com/NIRVANALAN/GaussianAnything

---

❤️ 如果你也关注 AI 的发展现状，且对 AI 应用开发感兴趣，我会每日分享大模型与 AI 领域的开源项目和应用，提供运行实例和实用教程，帮助你快速上手AI技术！

🥦 AI 在线答疑 -> 智能检索历史文章和开源项目 -> 尽在微信公众号 -> 搜一搜：蚝油菜花 🥦