之前对于扩散模型预测一个正太分布的噪声就能work的原因一直不是很理解,最近终于有点想通了,在此记录一下,方便日后复习。
扩散模型训练时,对于不同的t,都添加的是一个符合正太分布的噪音noise_t,得到x_t,但是x_t是与t相关的一个值,而噪音noise_t尽管与t无关,对于x_t已经是一个固定的值,而x_t也因为t的关系有不同程度的加噪效果,换句话说,此时模型对于x_t作为输入进行预测噪音,尽管这个噪音的确也是符合正态分布的,但是是一个固定的值,也就是说网络是在学习一个固定的值,对于一个加噪的图片去除一个符合正态分布的其中一个固定的值,只有这个固定的值才能使得图片能够还原回去,换句话说在采样时对于一张噪音图,网络就能学会去除一个怎样的一个对于每个像素点固定的值才能使得这张噪音图,得到自己想要的数据分布的图。
结论:扩散模型的训练本质上就是在学习对于不同加噪程度的图片去除什么样的噪声 才能恢复出原本数据分布的过程