2020-4-11 深度学习笔记18 - 直面配分函数 4 ( 得分匹配SM和比率匹配RM--绕开配分函数)

第十八章 直面配分函数 Confronting the Partition Function

中文
英文
2020-4-8 深度学习笔记18 - 直面配分函数 1 ( 配分函数概念，对数似然梯度)
2020-4-9 深度学习笔记18 - 直面配分函数 2 ( 随机最大似然和对比散度-概率和似然)
2020-4-10 深度学习笔记18 - 直面配分函数 3 ( 伪似然–绕开配分函数)

得分匹配和比率匹配Score Matching and Ratio Matching

1. 得分匹配

得分匹配(Score Matching,SM)提供了另一种训练模型而不需要估计$Z$或其导数的一致性方法。

对数密度关于参数的导数${\nabla }_x\log p(x)$，被称为其得分，得分匹配这个名称正是来自这样的术语。

得分匹配采用的策略是，最小化模型对数密度和数据对数密度关于输入的导数之间的平方差期望：
$$L(x,\theta )=\frac{1}{2}||{\nabla }_x\log p_{\text{model}}(x;\theta )-{\nabla }_x\log p_{\text{data}}$$