【生成式AI】ProlificDreamer论文阅读

ProlificDreamer 论文阅读

Project指路：https://ml.cs.tsinghua.edu.cn/prolificdreamer/
论文简介：截止2023/8/10，text-to-3D的baseline SOTA，提出了VSD优化方法

前置芝士:text-to-3D任务简介

text-to-3D Problem

text-to-3D 解决的问题就是给定一段话，生成视角一致的3D场景，如果了解过这个领域的可以略过不看

研发路线大概是dreamfeild->dreamfusion->polificdreamer

Diffusion Model

text-to-image领域Diffusion Model很厉害，所以基本上就是Extend Diffusion Model to 3D，想看Diffusion Model简介可以看我之前的博文：

生成模型的Basic Idea就是真实图片作为随机分布，每个text是条件。

• Diffusion Model训练出了一个条件分布$p(\mathbf{x}|y)$，x是图片，y是条件（text），其Loss Function可以表达为$${\mathcal{L}}_{Diff}(\varphi ):={\mathbb{E}}_{x_0\sim q(x_0),t\sim \mathcal{U}(0,1),ϵ\sim \mathcal{N}(0,1)}[w(t)\Vert {ϵ}_{\varphi }({\alpha }_t{x}_0$$