机器学习-算法-有监督学习:EM(最大期望值算法)<=> MLE(最大似然估计法)【关系类似“梯度下降法”<=>“直接求导法”】【EM&“梯度下降”:先初始化一个随机值,然后通过迭代不断靠近真实值】)<==> MLE(Maximum Likelihood Estimat/最大似然估计法)
最大期望算法(Expectation-maximization algorithm,又译为期望最大化算法),是在概率模型中寻找参数最大似然估计或者最大后验估计的算法,其中概率模型依赖于无法观测的隐性变量。
它是一个基础算法,是很多机器学习领域算法的基础,比如隐式马尔科夫算法(HMM)等等。
最大期望算法经过两个步骤交替进行计算:
- 第一步是计算期望(E / Expectation),利用对隐藏变量的现有估计值,计算其最大似然估计值;
- 第二步是最大化(M / Maximum),最大化在E步上求得的最大似然值来计算参数的值。M步上找到的参数估计值被用于下一个E步计算中,这个过程不断交替进行。
EM算法受到缺失思想影响,最初是为了解决数据缺失情况下的参数估计问题,其算法基础和收敛有效性等问题在Dempster、Laird和Rubin三人于1977年所做的文章《Maximum likelihood from incomplete data via the EM algorithm》中给出了详细的阐述。其基本思想是:
- 首先根据己经给出的观测数据,估计出模型参数