em算法python实现_关于EM算法原理的分析与理解（Python实现）

本文的计算公式出自《统计学习方法》，写这篇文章主要是想把自己对这个算法的思路理清，并把自己的理解记录下来，同时分享出来，希望能够帮助到打算入门机器学习的人。

定义：

概率模型有时既含有观测变量，又含有隐变量或潜在变量。如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法，或贝叶斯估计法估计模型参数，但是，当模型含有隐变量时，就不能简单地使用这些估计方法了。EM算法就是含有隐变量的概率模型参数的极大似然估计法，或极大后验概率估计法。

算法原理：

一般用Y表示观测随机变量的数据，Z表示隐随机变量的数据，theta是估计的模型参数。

EM算法通过迭代求

L_theta1.PNG

的极大似然估计，每次迭代包含两步：E步，求期望；M步，求极大化。

将极大似然函数展开得到：

9.PNG

该极大似然函数的展开式的意思是：在模型参数中隐变量Z的条件概率与在隐变量下观测变量的条件概率乘积是一次操作中观测变量的概率，而求和则是所有操作中观测变量的概率。

该极大似然函数是无法求解的，事实上EM算法是通过不断的迭代近似极大化极大似然函数的。

为了新模型参数估计值能使极大似然函数极大化，则考虑第i+1次迭代与第i次迭代的差，通过不断求解差值的极大化，从而求得第i+1次迭代的极大化。

6.PNG

7.PNG

8.PNG

看到这里就可以知道，通过取全数据对数似然的期望最大化，就可以最大化式子(9.1