NeurIPS 2024 | 清华提出DiffGS：首个通用三维高斯生成模型

点击下方卡片，关注“CVer”公众号

AI/CV重磅干货，第一时间送达

点击进入—>【Mamba/多模态/扩散】交流群

添加微信号：CVer2233，小助手会拉你进群！

扫描下方二维码，加入CVer学术星球！可以获得最新顶会/顶刊上的论文idea和CV从入门到精通资料，及最前沿应用！发论文/搞科研/涨薪，强烈推荐！

转载自：极市平台  作者丨周俊昇

导读

 

在本文中，作者第一次实现了原生的三维高斯生成式模型，无需对高斯数据进行体素化等预处理操作，并可以生成任意数量的3DGS。DiffGS同时是第一个通用三维高斯生成模型，支持图生3DGS、文生3DGS、三维高斯补全、点云到3DGS的生成等任务。

清华大学近期的工作：DiffGS: Functional 3D Gaussian Splatting Diffusion 被接收于 NeurIPS 2024。论文代码已开源：

论文地址：https://arxiv.org/abs/2410.19657

项目主页：https://junshengzhou.github.io/DiffGS

代码地址：https://github.com/weiqi-zhang/DiffGS

作者提出使用函数化方式来将离散的、非结构化的三维高斯表征解耦地表示为三个三维高斯函数，包括高斯概率函数、高斯颜色函数和高斯变换函数。在这三个连续的三维高斯函数上，可以训练一个标准的VAE + LDM (Variational Auto-encoder + Latent Diffusion Model) 的扩散生成式模型来生成这些函数。最后通过高斯提取算法获得最终生成的高斯。

DiffGS 网络框架：

DiffGS 包括一个Gaussian VAE以及一个Gaussian LDM。首先训练Gaussian VAE来构建一个可以编码三维高斯并解码出三维高斯函数的隐特征空间，在这个隐特征的基础上训练一个Diffusion模型来实现三维高斯的生成。同时可以引入各种condition，如文本、图像和残缺高斯，来实现可控的三维生成。

高斯提取算法：

DiffGS设计了一个基于Octree的优化式高斯提取算法，以从生成的高斯概率函数、颜色函数和变换函数中恢复出高斯模型。该算法的目标类似于Marching Cubes算法从SDF中提取表面的过程。

下游应用：

DiffGS可以实现多个3DGS生成任务，如Unconditional Generation，Text-to-3DGS Generation，Image-to-3DGS Generation，Gaussian Completion，Point-to-Gaussian Generation。

无条件三维高斯生成

与现有SOTA方法的可视化以及量化结果对比：

图/文生三维高斯

给定文本，比如“a grey chair has two L type legs”， DiffGS能够生成对应的三维高斯模型

三维高斯补全

DiffGS 是首个能够实现三维高斯补全的模型。给定残缺的模型，DiffGS能够预测完整的三维高斯模型

点云生成三维高斯

DiffGS 还可以支持基于点云的三维高斯生成任务。只需要将Gaussian VAE的输入修改为三维点云即可以实现该任务。

何恺明在MIT授课的课件PPT下载

在CVer公众号后台回复：何恺明，即可下载本课程的所有566页课件PPT！赶紧学起来！

ECCV 2024 论文和代码下载

在CVer公众号后台回复：ECCV2024，即可下载ECCV 2024论文和代码开源的论文合集

CVPR 2024 论文和代码下载

在CVer公众号后台回复：CVPR2024，即可下载CVPR 2024论文和代码开源的论文合集

Mamba、多模态和扩散模型交流群成立

扫描下方二维码，或者添加微信号：CVer2233，即可添加CVer小助手微信，便可申请加入CVer-Mamba、多模态学习或者扩散模型微信交流群。另外其他垂直方向已涵盖：目标检测、图像分割、目标跟踪、人脸检测&识别、OCR、姿态估计、超分辨率、SLAM、医疗影像、Re-ID、GAN、NAS、深度估计、自动驾驶、强化学习、车道线检测、模型剪枝&压缩、去噪、去雾、去雨、风格迁移、遥感图像、行为识别、视频理解、图像融合、图像检索、论文投稿&交流、PyTorch、TensorFlow和Transformer、NeRF、3DGS、Mamba等。
一定要备注：研究方向+地点+学校/公司+昵称（如Mamba、多模态学习或者扩散模型+上海+上交+卡卡），根据格式备注，可更快被通过且邀请进群

▲扫码或加微信号: CVer2233，进交流群
CVer计算机视觉（知识星球）来了！想要了解最新最快最好的CV/DL/AI论文速递、优质实战项目、AI行业前沿、从入门到精通学习教程等资料，欢迎扫描下方二维码，加入CVer计算机视觉（知识星球），已汇集上万人！

▲扫码加入星球学习

▲点击上方卡片，关注CVer公众号
整理不易，请赞和在看