【机器学习】EM算法

---

EM算法

EM算法也称期望最⼤化（Expectation-Maximum,简称EM）算法。
它是⼀个基础算法，是很多机器学习领域算法的基础，⽐如隐式⻢尔科夫算法（HMM）等等。

EM算法是⼀种迭代优化策略，由于它的计算⽅法中每⼀次迭代都分两步，

• 其中⼀个为期望步（E步），
• 另⼀个为极⼤步（M步），

所以算法被称为EM算法（Expectation-Maximization Algorithm）

---

EM算法受到缺失思想影响，最初是为了解决数据缺失情况下的参数估计问题，其算法基础和收敛有效性等问题在 Dempster、Laird和Rubin三⼈于1977年所做的⽂章《Maximum likelihood from incomplete data via the EM algorithm》中给出了详细的阐述。其基本思想是：

• ⾸先根据⼰经给出的观测数据，估计出模型参数的值；
• 然后再依据上⼀步估计出的参数值估计缺失数据的值，再根据估计出的缺失数据加上之前⼰经观测到的数据重新再对参数值进⾏估计；
• 然后反复迭代，直⾄最后收敛，迭代结束。

EM算法计算流程：