写在前面
本系列博客是自己对于《统计学习方法》这本书的读书笔记，在读过每个章节以后根据自己的理解写下这一章的知识框架以及补充一些延伸知识点。
目录
本章框架
EM算法
在进行概率模型的参数估计时，如果变量全是可以直接观测的，就可以直接用极大似然估计或贝叶斯估计；如果模型中含有隐变量，此时可以用EM算法来进行估计。EM算法就是含有隐变量的概率模型参数的极大似然估计。
EM算法通过迭代来进行参数估计，每次迭代分为E和M两步：
- E步——求期望（计算Q函数）
- M步——求极大
求令Q函数极大的
值并对其进行参数更新。
EM算法的收敛性：
每次迭代后会提高观测数据的似然函数值，是收敛的，但不能保证收敛到全局最优。
EM算法在高斯混合模型中的应用
EM算法的推广
EM算法可解释为F函数的极大-极大算法。
推广：广义期望极大算法（GEM）
补充知识点
高斯混合模型
高斯混合模型(GMM):高斯混合模型是指具有如下形式的概率分布模型：
其中
,
称为第k个分模型.
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
