昇思MindSpore打卡营 10号 -Diffusion扩散模型 学习心得

模型简介

Diffusion是从纯噪声开始，通过一个神经网络学习逐步去噪，最终得到一个实际图像。 Diffusion对于图像的处理包括两个过程：

一、选择的固定（或预定义）正向扩散过程 ，它逐渐将高斯噪声添加到图像中，直到最终得到纯噪声；

二、通过训练神经网络从纯噪声开始逐渐对图像去噪，直到最终得到一个实际的图像。

数据准备与处理

一、定义一个正则数据集，这些数据集可以是来自简单的真实数据集的图像；

二、将数据集其放到指定路径；

三、定义一个transform操作，在整个数据集上动态应用这个transform操作；

四、从𝑇T开始，从高斯分布中采样纯噪声，使用神经网络逐渐去噪直到最终在时间步𝑡=0结束。

总结

一、学习条件分布的方差（除平均值外）有助于提高性能；

二、引入级联扩散，用于高保真图像合成；

三、扩散模型通过改进U-Net体系结构以及引入分类器指导，可以获得优于当前最先进的生成模型的图像样本质量；

四、通过使用单个神经网络联合训练条件和无条件扩散模型，不需要分类器来指导扩散模型；

五、在将文本标题转换为CLIP图像嵌入之前使用，然后扩散模型将其解码为图像；

六、将大型预训练语言模型与级联扩散结合起来，对于文本到图像的合成很有效。