2020-4-12 深度学习笔记18 - 直面配分函数 5 ( 去噪得分匹配，噪声对比估计NCE--绕开配分函数，估计配分函数)

第十八章 直面配分函数 Confronting the Partition Function

中文
英文
2020-4-8 深度学习笔记18 - 直面配分函数 1 ( 配分函数概念，对数似然梯度)
2020-4-9 深度学习笔记18 - 直面配分函数 2 ( 随机最大似然和对比散度-概率和似然)
2020-4-10 深度学习笔记18 - 直面配分函数 3 ( 伪似然–绕开配分函数)
2020-4-11 深度学习笔记18 - 直面配分函数 4 ( 得分匹配SM和比率匹配RM–绕开配分函数)

去噪得分匹配Denoising Score Matching

某些情况下，我们希望拟合以下分布来正则化得分匹配 ，而不是拟合真实分布$p_{\text{data}}$。
$$p_{smoothed}(x)=\int p_{data}(y)q(x\mid y)dy$$
其中，分布$q(x\mid y)$是一个损坏过程，通常在形成$x$的过程中会向$y$中添加少量噪声。

去噪得分匹配非常有用，因为在实践中，通常我们不能获取真实的$p_{\text{data}}$