7 DiffuseVAE: Efficient, Controllable and High-Fidelity Generation from Low-Dimensional Latents
7.1 贡献:
-
a novel conditioning framework:新框架 :可以简化为一个简单的generator-refiner结构。调节方式: 在DDPM中探索了两种类型的调节公式
-
Controllable synthesis from a low-dimensional latent:DiffuseVAE生成的样本中的主要结构可以直接使用低维VAE潜伏空间来控制,而扩散过程的噪声可以控制最终生成的样本中的微小随机细节。
-
Generalization to different noises in the conditioning signal: 预训练的DVAE模型对DDPM调节信号中的不同噪声类型表现出概括性,显示了调节框架的有效性
-
更快的速度/更好的质量
-
这里进DDPM的不再是z向量,而是经过解码器的x0,x0可以看作是一个关于z的确定函数
-
使用的仍然是两阶段的训练策略,先优化VAE的损失函数,固定住VAE的encoder和decoder之后,再训练DDPM