EM算法小结

EM算法进行参数估计的主要思想是：
目的是给定观测变量数据和隐变量数据以及分布函数来估计模型参数，首先选择参数的初始值，计算在此参数下观测数据来自各种可能（模型）的概率，这一步实现了将隐变量显式化，求得参数新的估计值，据此得到在新参数下的目标函数期望（E），然后求解不完全数据对数似然函数的极大似然估计（M），当优化目标不再变化时收敛，得到参数的估计值。
最终的优化目标是：给定观测数据和当前参数下对未观测数据的条件概率分布的期望
可以和K均值聚类的推导过程进行类比

Reference:
1.http://101.96.10.62/web.mit.edu/6.435/www/Dempster77.pdf
2.《统计学习方法》李航