diffusers中DDPMScheduler/AutoencoderKL/UNet2DConditionModel/CLIPTextModel代码详解

最新推荐文章于 2025-03-17 14:44:11 发布

Kun Li

最新推荐文章于 2025-03-17 14:44:11 发布

阅读量3.4k

点赞数 1

分类专栏：图像视频生成大模型文章标签： python 深度学习机器学习

本文链接：https://blog.csdn.net/u012193416/article/details/133021790

版权

图像视频生成大模型专栏收录该内容

279 篇文章 ¥49.90 ¥99.00

订阅专栏

超级会员免费看

本文详细解析了diffusers库中涉及的DDPMScheduler、AutoencoderKL和UNet2DConditionModel的代码实现，以及CLIPTextModel在扩散模型训练中的应用。通过分析关键文件如`autoencoder_kl.py`、`scheduling_ddpm.py`和`unet_2d_condition.py`，揭示了扩散模型训练的基本步骤，包括使用MSE损失进行噪声预测。同时，简要介绍了推理过程，重点提及`pipeline_stable_diffusion.py`和`scheduling_ddpm.py`。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

扩散模型的训练时比较简单的

上图可见，unet是epsθ是unet。noise和预测出来的noise做个mse loss。

训练的常规过程：

latents = vae.encode(batch["pixel_values"].to(weight_dtype)).latent_dist_sample()
latents = latents*vae.config.scaling_factor
noise = torch.randn_like(latents)
timesteps = torch.randint(0, noise_scheduler.config.num_train_timesteps, (bsz,), device=latents.device)
            
noisy_latents = noise_scheduler.add_noise(latents, noise, timesteps)
encoder_hidden_states = text_encoder(batch["input_ids"])[0]
 
target = noise
model_pred = unet(noisy_latents, timesteps, encode

了解本专栏

超级会员免费看