Improved Denoising Diffusion Probabilistic Models 论文阅读

前言

DDPM模型虽然在生成任务上达到了不错的效果，但是也同样存在一些问题，例如采样时间过长、对数似然不高等。对数似然是生成模型中广泛使用的指标，优化对数似然迫使生成模型学习各个数据分布，使得模型的多样性大大提高。此外，对数似然性的微小改进可以对样本质量和学习的特征表示产生巨大影响。论文在此基础上进行改进，①DDPM原来的方差系数是固定的，现在采用学习的方式；②对损失函数进行改进，在原来的MSE损失加入了混合损失；③对比改进后的DDPM和DDIM采样速度和质量，以及和GAN模型的采样质量、参数大小进行对比。

Improving the Log-likelihood

为了进行改进前后的模型对比，实验分别在CIFAR-10和ImgaNet两个数据集进行（CIFAR10是人脸专用的数据集），在ImageNet也进行实验的原因是这样的数据集的分布更加多样，不用担心过拟合的问题。将步数从T=1000到T=4000，可以将对数似然提升至3.77。

Learning Σθ (xt, t)（可学习方差）

在DDPM中，原始推理过程的方差是下式的，后来作者实验发现直接用来代替对采样结果的影响不大，两者都是固定方差（这个固定是相对可学习的参数来说的），在下图的实验结果中也同样发现这个，两者的比值随着步数t的增加不断趋近于相同，在大步数的实验中更加明显。在下面第三幅图中显示了采样过程和NLL（采样指标）的关系，最开始的步骤对采样过程的变化比较明显。