本节书摘来异步社区《LDA漫游指南》一书中的第2章,作者: 马晨,更多章节内容可以访问云栖社区“异步社区”公众号查看
第2章 前置知识
LDA漫游指南
本章所描述的工具和线索在后期LDA算法的采样公式推导中会全部明了。关于为什么需要使用这些知识要素,这里面有很长的一段历史渊源,比如在概率论和数理统计中,gamma函数被广泛使用,而在最终的LDA采样公式中,你会发现,gamma函数被神奇地消失了。我们在后面的章节中可以看到,LDA算法的精妙之处在于用令人屏息的洞察力作为纽带,将零散的部件全部组合在一起。
2.1 gamma函数
所谓的gamma函数其实就是阶乘的函数形式,即n!=1⋅2⋅3…n。如果我问你3的阶乘是多少,你立即回答1⋅2⋅3=6,但是如果我问你0.5阶乘是什么,如果没有gamma函数就无法回答了。欧拉经过不懈努力,终于发现阶乘的更一般的函数形式gamma函数f(x)=Gamma (x),直接给出:
也可以算出
利用二重积分换元法做极坐标变换,令t = rcos theta,u = rsin theta, 则当 t 和 u 的定义域D都为 - infty ~ + infty ,即积分区域为整个坐标轴, r 半径的范围为0~ + infty ,而 theta 的范围为绕坐标轴一圈从0~2π使用雅可比行列式:
则又因为 I 的被积函数大于0,则 I >0,最后得
也正因为如此,