1.1 极大似然函数
极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。 一般说来,事件A发生的概率与某一未知参数θ有关,θ取值不同,则事件A发生的概率P(A/θ)也不同,当我们在一次试验中事件A发生了,则认为此时的值θ应是t的一切可能取值中使P(A/θ)达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性最大。
极大似然估计法原理就是固定样本观测值(x1,x2,...xn),在θ可能的取值范围内挑选一个值使得似然函数L(θ)达到最大。这个参数值θ1就做为未知参数的估计值,即取θ1使得L(x1,x2,...xn;θ1)=max L(x1,x2,...xn;θ),这样得到的θ1就称为参数最大似然估计值。
此时使用极大似然估计便能估计出模型中的参数。但此时存在隐变量【即假设X为观测变量,Z为隐含变量,则(X,Z)为完全数据,θ为需要估计的参数,对于完全数据,(X,Z)的似然函数为P(X,Z/θ)】,那么就不能用极大似然估计,EM算法就是含有隐变量的概率模型参数的极大似然估计法,或极大后验估计法。
1.2 EM的引入
参数估计中的参数本身依赖于数据的完整特征,但若只有部分特征X,因此要引入隐变量Z才能建立θ与X,Z之间的关系。什么是隐变量?为什么要引入隐变量?对隐变量的理解是理解EM算法的第一步。
1.3 EM算法
EM算法是期望最大(Expectation Maximization)算法的简称,EM算法是一种启发式的迭代算法,在每一步的迭代过程中,主要分为2步:即求期望步骤和最大化步骤。反复构造新的下限,然后进一步求解。
给总体X,设X1,X2,X3,....,Xn为来自总体X的训练样本,找到每个样本隐含的变量Z,使得P(X,Z)最大。最大似然估计为
L(θ) = =
EM是一种解决存在隐含变量优化问题的有效方法。不能直接最大化L(θ),我们可以不断地建立L的下界(E步),然后优化下界(M步)。
对于每一个样本i,让 表示该样本隐变量Z的某种分布,满足
。
则 (1)
= (2)
(3)
注:(2)、(3)利用了Jensen不等式,即:
函数为凹函数: 或 f(E(X))
E(f(X))
函数为凸函数: 或 f(E(X))
E(f(X))
其中,对于任意的,
。
要使(3)等式成立,需要让随机变量为常数(注:设D为常数,E(D)=D),即:。c为常数,不依赖Z。我们知道
,那么也就有
,(多个等式分子分母相加不变,这个认为每个样例的两个概率比值都是c),那么有下式:
至此,得出了隐变量Z满足的分布。在确定
之后,调整参数θ使得L(θ)取得极大。
固定参数θ后,的计算公式为后验概率,解决了
如何选择的问题。该步为E步,建立L(θ)的下界。接下来M步,给定
后,调整θ,去极大化L(θ)的下界。
一般EM步骤:
循环直至收敛或稳定{
E:对于每一个i,计算
M:计算
}
说明:参数的初值可任意选择,但注意EM算法对初值敏感。
K-means是一种Hard EM算法。
E步骤是固定参数优化隐分布, M步骤是固定隐分布优化参数,这就是广义EM算法了。
后验概率:事情已经发生,要求这件事情发生的原因是由某个因素引起的可能性的大小。