LDA入门级学习笔记

LDA入门级学习笔记

声明：

1）该博文是多位博主以及科学家所无私奉献的论文资料整理的。具体引用的资料请看参考文献。具体的版本声明也参考原文献

2）本文仅供学术交流，非商用。所以每一部分具体的参考资料并没有详细对应，更有些部分本来就是直接从其他博客复制过来的。如果某部分不小心侵犯了大家的利益，还望海涵，并联系老衲删除或修改，直到相关人士满意为止。

3）本人才疏学浅，整理总结的时候难免出错，还望各位前辈不吝指正，谢谢。

4）阅读本文需要机器学习、概率统计算法等等基础（如果没有也没关系了，没有就看看） 。

5）此属于第一版本，若有错误，还需继续修正与增删。还望大家多多指点。请直接回帖，本人来想办法处理。

6）本人手上有word版的和pdf版的，有需要的话可以上传到csdn供各位下载，也可以到深度学习群里去下载，或者发邮件到老衲邮箱：beiliude@163.com。

一．问题描述

传说搜狗公司请了个大牛，把这方面搞得风生水起。最近组内的LDA用得风风火火的，组内同事也是言必称LDA。
不花点时间看看，都快跟人说不上话了。
当然，学习东西慢就只好从简单的开始了，所以把简单的基础的东西在这里讲讲，希望能把基本问题讲清楚，高深的推导就跳过了。

1.1文本建模相关

统计文本建模的目的其实很简单：就是估算一组参数，这组参数使得整个语料库出现的概率最大。这是很简单的极大似然的思想了，就是认为观测到的样本的概率是最大的。
建模的目标也是这样，下面就用数学来表示吧。
一开始来说，先要注意假设了一些隐变量z，也就是topic。每个文档都符合一个topic的分布，另外是每个topic里面的词也是符合一个分布的，这个似然是以文档为单位的。极大似然式子全部写出来是下面的样子的

其中的M表示文档个数。其中的α，就是每个文档符合的那个topic分布的参数，注意这个家伙是一个向量，后面会再描述；其中的β，就是每个topic里面的词符合的那个分布的参数，注意这个也是一个向量。
本来到这里看起来挺简单的，就是一个普通的极大似然估计，估计好参数α和β，就大功告成了。
如果是传统的极大似然估计，好办了，求个梯度，梯度为0的地方就是解了，这里这个东西偏偏多了个隐变量，就是每个词属于哪个topic的？还有每个文档属于哪个topic的？比如，每个文档的topic是怎么分布的（意思就是，每个文档是按概率属于各个topic的，当然，各个topic的词的分布情况是不一样的，比如有金融，电商两种topic，文档有可能是0.3的概率属于金融，0.7的概率属于电商），还有文档里面每个词有来自哪种类型的词的分布的（意思就是，每个词来自哪个topic的，每个topic里面的词分布不一致的，如金融topic里面“人民币”这个词的概率是0.7，“商品”这个词的概率是0.3；电商topic里面“人民币”这个词的概率是0.4，“商品”这个词的概率是0.6）。
这个玩笑就开大了，直接求解就玩不动了，只好用其他算法了。
候选的比较大众的求解有隐变量的算法有EM。
下面先把似然函数用全概率表示出来再做讨论吧。
假设一个文档w_m的topic分布（doc-topic分布）已知，用向量θ_m表示（这个向量的每一项的和为1，总体可以表示一个概率分布），每个词来自哪个topic已知，用z_(m,n)表示，每个topic的词分布用矩阵 中的一行（topic-word分布）表示（这是一个K*V的矩阵，其中V表示语料库中的词的数量，第一行表示第一个topic里面的词分布）。
在已知上面的这些条件的情况下，计算一个文档的整个联合complete-data的联合分布（意思就是所以变量都已知的情况下）的式子如下
    （3）
中括号里面的是生成词的过程，大括号里面是生成文档的过程，最右边的那个概率就是∅的后验概率。注意z_m是一个向量，维度为Nm。
这么一堆东西，还是很复杂的，中间有这么多的奇怪的变量，计算起来的复杂读可想而知了，为了跟似然函数联系起来，通过对θ_m（doc-topic分布）和Φ（topic-word分布）积分，以及对z_(m,n)求和，得到只有w_m的边缘分布

（4）
那个累加号被去掉的原因是：在参数θ_m和φ_(z_(m,n) )都已知的情况下，一个词t被产生的概率是