DDPM单步的具体步骤

本文介绍了深度学习中基于马尔可夫链的前向过程,通过逐步添加高斯噪声将数据转化为噪声,以及反向过程,模型学习从噪声中恢复原始数据的技术。这两个过程在去噪和生成模型中有关键应用。
摘要由CSDN通过智能技术生成

一、前向过程(扩散过程)

在前向过程中,模型逐步向数据添加噪声,直到数据完全转化为无结构的噪声

这个过程可以用马尔可夫链来描述,其中每一步都向数据添加一小部分高斯噪声

  • 假设我们有一个初始数据分布 p(x0​)(例如图像)。
  • 在每个时间步 t,数据 xt​ 通过添加高斯噪声转化为 \mathbf{x}_{t+1}。这个过程可以数学上表示为 \mathbf{x}_{t+1}=\sqrt{1-\beta_t}\mathbf{x}_t+\sqrt{\beta_t}\epsilon,其中 βt​ 是预设的方差序列,ϵ 是来自标准正态分布的随机噪声。
  • 经过足够多的时间步后,数据 xT​ 变成了纯噪声。

二、反向过程(去噪过程)

在反向过程中,模型学习如何逐步从噪声中恢复出原始数据

反向过程同样是一个马尔可夫链,但是它试图从噪声中恢复出原始数据。

  • 在每个时间步 t,模型基于当前的噪声数据 xt​ 和训练过程中学习到的参数,预测加入到 \mathbf{x}_{t-1} 的噪声 ϵ。
  • 这个预测噪声用于更新 xt​ 来生成 xt−1​ 的估计,数学上可以表示为\mathbf{x}_{t-1}=\frac1{\sqrt{1-\beta_t}}(\mathbf{x}_t-\frac{\beta_t}{\sqrt{1-\alpha_t}}\epsilon_\theta(\mathbf{x}_t,t)),其中 \begin{aligned}\alpha_t&=1-\beta_t\end{aligned} 且 ϵθ​ 是模型预测的噪声。
  • 通过重复这个过程,模型逐步恢复出更清晰的数据,直到最后恢复出原始数据 x0​
  • 8
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值