直面配分函数（Confronting Partition Function）

1.数学建模的目标是使得经验分布无穷接近于真实分布

2.从真实分布采样的期望称为正相，从模型分布采样的期望称为负相

3.利用极大似然估计推出的参数估计公式是最小化KL散度，称为ML-learning

4.利用MCMC采样应对复杂概率分布求参数估计的方法，称为CD-Learning

5.CD-k是指用MCMC在构建平稳分布时的初始值就是训练样本的随机采样样本

机器学习中，建立的模型一般服从指数族分布，而最终会面临求对数配分函数才能求得最终的概率形式：

但可惜的是，大多数情况我们对配分函数无能为力（求解不出来）。在概率图模型介绍变分推断时，我们给出了一种通过蒙特卡洛采样的方法近似。

传送门：变分推断（Variational Inference）

这一篇就