生成扩散模型漫谈：最优扩散方差估计（下）

©PaperWeekly 原创 · 作者 | 苏剑林

单位 | 追一科技

研究方向 | NLP、神经网络

在上一篇文章《生成扩散模型漫谈：最优扩散方差估计（上）》中，我们介绍并推导了 Analytic-DPM 中的扩散模型最优方差估计结果，它是直接给出了已经训练好的生成扩散模型的最优方差的一个解析估计，实验显示该估计结果确实能有效提高扩散模型的生成质量。

这篇文章我们继续介绍 Analytic-DPM 的升级版，出自同一作者团队的论文《Estimating the Optimal Covariance with Imperfect Mean in Diffusion Probabilistic Models》[1]，在官方 Github 中被称为“Extended-Analytic-DPM”，下面我们也用这个称呼。

结果回顾

上一篇文章是在 DDIM 的基础上，推出 DDIM 的生成过程最优方差应该是

其中 是分布 的方差，它有如下的估计结果（这里取“方差估计2”的结果）：

事后来看，其实估计思路也不算难，假设

已经准确预测了分布 的均值向量，那么根据定义可以得到协方差为

两端对 求平均，以消除对 的依赖

最后，对角线元素取平均，使其变为一个标量（或者说协方差是单位阵的倍数），即 ，便