《LDA数学八卦》读后笔记

LDA看过很多次了，每次都有新的理解（其实就是因为之前的理解不深）。首先要表达对靳志辉的敬仰，毕竟LDA资料里面，这个算是最好的读物了。
看完LDA多次想过要写一篇博客，但是一直没有写，因为我觉得我还没有理解，直到今天，我也不太敢说自己百分百的理解。我就把自己学习过程中的心得，写出来，供初学者参考，少走一些我走过的弯路就OK了。接下来，我会完全按照《LDA数学八卦》的排版顺序来解读。
先大概说下这本书的框架
介绍了伽马函数，Beta分布，Dirichlet分布，采样方法，然后讲文本建模。
第一要点：伽马函数，Beta分布都是为了引出Dirichlet分布，而Dirichlet分布则是用来表示文本的先验分布。也就是是说，这个slide里面用大量的篇幅来介绍，伽马，Beta，Dirichlet就是用来解决一个先验分布表示的问题。我们带着这样的整体认识再看这个slide，我们就会觉得轻松很多，很多地方是可以直接不看的。也就是说，我们不用沉醉于伽马函数有多神奇，不用纠结于高斯有多老狐狸。因为这些非但没有让你更加清楚认识，反而让你更蒙圈。这个slide就这点不好，他把那么多篇幅用在了铺垫上，但是在后面关键部分匆匆结尾。
第二要点： 采样方法，两种采样算法要理解，mcmc和gibbs采样，这两个采样算法稍微耐心点了解之后，其实LDA部分的知识也就全知道了。
以上两点只要理解好了，LDA也就会了，Nothing is important but these two points!

现在我们就按着《LDA数学八卦》把知识都过一遍，用最朴素的语言来说明。
伽马函数
我们只需要记住这个函数的形式，性质，以及他可以表示Beta分布和Dirichlet分布。
形式：

性质：