《统计学习方法》学习笔记九

第9章 EM算法及其推广

• EM算法是一种迭代算法，1977年由Dempster等人总结提出，用于含有隐变量（hidden variable）的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步组成：E步，求期望（exceptation）；M步，求极大（maximization）。所以这一算法称为期望极大算法（expectation maximization algorithm），简称EM算法。

• EM算法的引入

• • EM算法

• • EM算法的导出

• • EM算法在非监督学习中的应用

• EM算法的收敛性

• EM算法在高斯混合模型学习中的应用

• • 高斯混合模型

• • 高斯混合模型参数估计的EM算法

• EM算法的推广

• • F函数的极大-极大算法

• • GEM算法