【扩散模型】引导扩散方法Classifier-free Guidance

Classifier-free Guidance

现在我们来介绍引导扩散的另一个方法Classifier-free Guidance，该方法也广泛运用于后续的各种扩散模型。

论文：CLASSIFIER-FREE DIFFUSION GUIDANCE

https://arxiv.org/pdf/2207.12598.pdf

参考视频

classifier guidance到classifier-free guidance之间扩散模型也有了更多的研究，描述的符号也发生了一些改变，采样时间也发生了变化。

文章使用了不同之前提到的文章的公式符号，并且将采样时间使用$\lambda =\log {\alpha }_{\lambda }^2/{\sigma }_{\lambda }^2$进行代替。主要贡献是将有条件的和无条件的扩散模型结合到一起，无需另外训练分类器。

公式推导过程

将Classifier Guidance论文所得到的公式

Classifier Guidance论文相关解析可以查看另一篇博文
【扩散模型】引导扩散方法ClassifierGuidance

$$\widehat{ϵ}(x_t):={ϵ}_{\theta }(x_t)-\sqrt{1-{\bar{\alpha }}_t}{\nabla }_{x_t}\log p_{\varphi }(y|x_t)$$

写成新的形式

$${\widetilde{ϵ}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})={ϵ}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})-w{\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })$$

（也可以写成）

$${\tilde{p}}_{\theta }({\mathbf{z}}_{\lambda }|\mathbf{c})\propto p_{\theta }({\mathbf{z}}_{\lambda }|\mathbf{c})p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda }{)}^w$$

若将权重w变为w+1，使用score方法进行求导并将$p({\mathbf{z}}_{\lambda }|\mathbf{c})$使用贝叶斯公式转化得到：

$$\begin{array}{rl}{\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda })-(w+1){\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })& \approx -{\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}[\log p({\mathbf{z}}_{\lambda })+(w+1)\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })]\\ & =-{\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}[\log p({\mathbf{z}}_{\lambda }|\mathbf{c})+w\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })],\end{array}$$

可以证明

$$p_{\theta }({\mathbf{z}}_{\lambda }|\mathbf{c})p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda }{)}^w\propto p_{\theta }({\mathbf{z}}_{\lambda })p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda }{)}^{w+1}$$

因此，可以得到：

$${\widetilde{\mathbf{ϵ}}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})={\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})-w{\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })\approx -{\sigma }_{\lambda }{\nabla }_{{\mathbf{z}}_{\lambda }}[\log p({\mathbf{z}}_{\lambda }|\mathbf{c})+w\log p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda })]$$

=====================================================
接下来要将无条件的采样和有条件的采样结合到同一个模型中，最终得到：

$${\widetilde{\mathbf{ϵ}}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})=(1+w){\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})-w{\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda })$$

推导过程:

由新的采样公式两边除以$p_{\theta }({\mathbf{z}}_{\lambda })$得到【其中，$p^i(\mathbf{c}|{\mathbf{z}}_{\lambda })$代表$p_{\theta }(\mathbf{c}|{\mathbf{z}}_{\lambda }{)}^{w+1}$】
$$p^i(\mathbf{c}|{\mathbf{z}}_{\lambda })\propto p({\mathbf{z}}_{\lambda }|\mathbf{c})/p({\mathbf{z}}_{\lambda })$$

对两边使用score方法求导，得到：

$${\nabla }_{{\mathbf{z}}_{\lambda }}\log p^i(\mathbf{c}|{\mathbf{z}}_{\lambda })=-\frac{1}{{\sigma }_{\lambda }}[{ϵ}^{\ast }({\mathbf{z}}_{\lambda },\mathbf{c})-{ϵ}^{\ast }({\mathbf{z}}_{\lambda })]$$

将$i=w+1$提下来，两边同乘$-{\sigma }_{\lambda }$并将${\mathbf{ϵ}}^{\ast }({\mathbf{z}}_{\lambda })$移到左边，最后共同提出$w+1$，得到：

$${\widetilde{\mathbf{ϵ}}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})=(1+w){\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})-w{\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda })$$

所以有条件的模型可以估计${\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda },\mathbf{c})$，无条件的模型可以估计${\mathbf{ϵ}}_{\theta }({\mathbf{z}}_{\lambda })$

训练和采样时候对条件c进行选择，如果c为空则为无条件的模型。

伪代码

训练部分：

采样部分：

U-Net

看到这里可能有些小伙伴会很疑问“这个采样神经网络到底是什么？采用什么架构？”
其实只要能完成对噪声的预测的神经网络都是可行的，当然预测效果更好，架构更合理，对语义有更深的理解是最好的。
而扩散模型diffusion一般使用的神经网络是基于U-Net网络。

参考视频
UNet神经网络

U-Net主要用于医学图像的语义分割。现在更多使用padding操作保持大小。

Ho（DDPM）等人使用了一个具有单个头部的16 × 16分辨率的全局关注层，并在每个残差块中添加了嵌入的时间步的投影。

相关论文和代码下载

有时候论文网站arXiv.org打开比较慢，已经将相关论文和代码上传到网盘，需要的可以自取

链接: https://pan.baidu.com/s/1J1h8R4KyY7k6NgS2t7YOZg?pwd=3ss8

可以关注公众号：

搜索：福尔马林灌汤包