lda的变分推理

     上文， lda 原理及变形  ，我们提到  e-step 我们要用变分推理的方法求解如下的优化问题：

           

            所以，这里用了其他的方法来求解。

            我们提到的函数可以转化为log似然函数。根据逻辑似然函数的jesen 不等式性质，我们可以找到 log似然函数的下界。

        

              （1）

             

         

   Jensen不等式是指，积分的凸函数值大于等于凸函数的积分值：

ϕ(E(X))≤E(ϕ(X))

 

        将 （1） 式中的第四行标记为          ，这个就是log似然函数的 下边界，我们计算 二者的差发现刚好是 这两个的分布的kl距离。

     

        所以 原来的kl最小转化成了 最大化，下面是用拉格朗日乘数法求取L最大值问题。

     

     

       根据 狄利克雷分布的一个性质 ： 

             

       可以计算以上的五个期望：

               

            我们对(2)式中的L做简化，只留下与 ϕ  有关的项 ： 
 
求偏导： 
 
解得： 

     

                对于 gamma

，同样的步骤： 

                                

      也就是 让 括号中的   为 0.

 M-step ：

            

                

        拉格朗日乘数法求解 β

                首先把 L(γ,ϕ;α,β) 简化，只保留与 β 有关的部分。因为 β 是每一行存一个主题的词分布，所以每一行的和是1，存在等式约束 ∑Vj=1βij=1 ，所以是带等式约束的最大化问题，使用拉格朗日乘数法，可得到拉格朗日函数如下： 

                 

                    

         

            

   

       

牛顿法求解 alpha 

         

           

 

           

     

 参考 ：

          《Latent Dirichlet Allocation》

           http://blog.csdn.net/happyer88/article/details/46473497

                 

        

的差发现刚好