扩散模型
逆向扩散过程
自从 DDPM 以来，扩散模型的参数化形式一般都是 ϵ \epsilon ϵ-prediction，即通过预测噪声计算损失并更新扩散模型的参数
但是直接预测噪声 ϵ \epsilon ϵ往往会遇到不稳定或不易学习的问题：噪声 ϵ \epsilon ϵ本身是随机的，直接优化可能会导致大的不确定性
v-prediction公式推导
《PROGRESSIVE DISTILLATION FOR FAST SAMPLING OF DIFFUSION MODELS》（ICLR2022、CCF-A）
在DDPM中，加噪公式为 x t = α ˉ t x 0 + 1 − α ˉ t ϵ \mathbf{x}_{t}=\sqrt{\bar{\alpha}_{t}}\mathbf{x}_{0}+\sqrt{1-\bar{\alpha}_{t}}\epsilon xt=αˉtx0+1−αˉtϵ，可以看到 x 0 x_0 x0和 ϵ \epsilon ϵ前面的权重系数的平方和为1，和 s i n ( ϕ ) 2 + c o s ( ϕ ) 2 = 1 sin(\phi)^2+cos(\phi)^2=1 sin(ϕ)2+cos(ϕ)2=1类似，所以我们可以把这两个权重系数当作单位圆半径向量在x轴和y轴上的投影，也就是上图所示的 α \alpha α和 σ \sigma σ ⇒ \Rightarrow ⇒ z t = α t x 0 + σ t ϵ \mathbf{z_{t}}=\alpha_{t}\mathbf{x}_0+\sigma_{t}\epsilon zt=αtx0+σtϵ，其中 x 0 \mathbf{x}_0 x0是DDPM中的 x 0 x_0 x0、 α t \alpha_t αt是DDPM中的 α ˉ t \sqrt{\bar{\alpha}_{t}} αˉt、 z t z_t zt是DDPM中的 x t x_t xt、 σ t \sigma_t σt
最低0.47元/天 解锁文章
扫一扫
3372
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
