上文, lda 原理及变形 ,我们提到 e-step 我们要用变分推理的方法求解如下的优化问题:
所以,这里用了其他的方法来求解。
我们提到的函数可以转化为log似然函数。根据逻辑似然函数的jesen 不等式性质,我们可以找到 log似然函数的下界。
(1)
Jensen不等式是指,积分的凸函数值大于等于凸函数的积分值:
将 (1) 式中的第四行标记为 ,这个就是log似然函数的 下边界,我们计算 二者的差发现刚好是 这两个的分布的kl距离。
所以 原来的kl最小转化成了 最大化,下面是用拉格朗日乘数法求取L最大值问题。
根据 狄利克雷分布的一个性质 :
可以计算以上的五个期望:
我们对(2)式中的L做简化,只留下与
ϕ
有关的项 :
求偏导:
解得:
对于 gamma
,同样的步骤:
也就是 让 括号中的 为 0.
M-step :
拉格朗日乘数法求解 β
首先把 L(γ,ϕ;α,β) 简化,只保留与 β 有关的部分。因为 β 是每一行存一个主题的词分布,所以每一行的和是1,存在等式约束 ∑Vj=1βij=1 ,所以是带等式约束的最大化问题,使用拉格朗日乘数法,可得到拉格朗日函数如下:
牛顿法求解 alpha
参考 :
《Latent Dirichlet Allocation》
http://blog.csdn.net/happyer88/article/details/46473497