EM估计

在看关于ppca的时候提到了隐变量以及EM的迭代算法，所以查了一下：

最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种迭代算法，用于含有隐变量（hidden variable）的概率参数模型的最大似然估计或极大后验概率估计。

EM算法：

在统计计算中， 最大期望（EM）算法是在 概率（probabilistic）模型中寻找参数最大似然估计或者最大后验估计的算法，其中 概率模型依赖于无法观测的隐藏变量（Latent Variable）。最大期望经常用在机器学习和 计算机视觉的 数据聚类（Data Clustering）领域。

最大期望算法经过两个步骤交替进行计算：

第一步是计算期望（E），利用对隐藏变量的现有估计值，计算其最大 似然估计值；

第二步是最大化（M），最大化在 E 步上求得的最大似然值来 计算参数的值。

M 步上找到的 参数估计值被用于下一个 E 步计算中，这个过程不断交替进行。

总体来说，EM的算法流程如下：

1.初始化分布参数

2.重复直到收敛：

E步骤：估计未知参数的期望值，给出当前的参数估计。

M步骤：重新估计分布参数，以使得数据的 似然性最大，给出未知变量的期望估计。

EM算法的主要目的是提供一个简单的迭代算法计算后验密度函数，它的最大优点是简单和稳定，但容易陷入局部最优。