参考链接https://www.cnblogs.com/crackpotisback/p/6188160.html
Jensen不等式
其实Jensen不等式正是我们熟知的convex函数和concave函数性质,对于convex函数,有
推广之后,
这就是Jensen不等式,写成期望的形式便有
EM算法推导
我们的目的是最大化似然函数P(X|θ)P(X|θ),为了计算方便,取对数,得到
假设我们已知θ(i),现在要求新的θ,为了极大化似然函数,我们期望最大化
于是有
参考链接https://www.cnblogs.com/crackpotisback/p/6188160.html
其实Jensen不等式正是我们熟知的convex函数和concave函数性质,对于convex函数,有
推广之后,
这就是Jensen不等式,写成期望的形式便有
我们的目的是最大化似然函数P(X|θ)P(X|θ),为了计算方便,取对数,得到
假设我们已知θ(i),现在要求新的θ,为了极大化似然函数,我们期望最大化
于是有