LDA主题模型之数学基础

前言

这段时间先把LDA需要的数学知识先给学了一遍，本文将数学知识以及自己对其的理解梳理成这三个部分：

1. 一些最基础概念
2. 基础函数-Gamma函数
3. 概率分布-Beta与Dirichlet分布

一些最基础概念

• 分布函数：设X是一个随机变量，x是任意实数，函数F(x)=P(X≤x)称为X的分布函数。有时也记为X~F(x)

  由其定义易知有下述性质

  1. 单调非降性
     
     1. 有界性：$0\le F(x) \le 1$ ;$F(-\infty)=0$ ;$F(+\infty)=1$
     2. 右连续性：$F(x)=F(x+0)$

• 概率密度函数：对于一维实随机变量X，设它的累积分布函数是$F_X(x)$,如果存在可测函数$f_X(x)$，满足
  

  $$F_x(a) = \int_{-\infty}^a f_x(x) \, dx ,\forall -\infty < a < \infty$$
  则X 是一个连续型随机变量，并且$f_X(x)$是它的概率密度函数

  简而言之就是分布函数是概率密度函数的积分，概率密度函数是分布函数的导数

基础函数-Gamma函数

• Gamma 函数的定义

  $$\Gamma(x) = \int_0^\infty{t^{x-1}e^{-t} \, dt}$$

  ​

  其函数形状如下

  

  通过分部积分可以推导出这个函数有如下的递归性质
  

  $$\Gamma(x+1) = x \Gamma(x)$$
  分部积分以及推导过程如下：
  $$\begin{align} \Gamma(x) &=\int_0^\infty{t^{x-1}e^{-t} \, dt} \\ & = \int_0^\infty{t^{x-1}de^{-t}} \\ & = -\left[ (e^{-t}t^{x-1}|^\infty_0) - \int_0^\infty{e^{-t} \, dt^{x-1}}\right] \\ & = -\left[ 0 - \int_0^\infty{e^{-t} \, dt^{x-1}}\right] \\ & = \int_0^\infty{e^{-t}t^{x-2}(x-1) \, dt} \\ \end{align}$$
  $$\begin{align} \therefore \Gamma(x+1)& = \int_0^\infty{e^{-t}t^{x-2}(x-1) \, dt} \\ & = x\Gamma(x) \end{align}$$

  由于上述递归性质，$\Gamma(x)$函数可以当成是阶乘在实数集上的延拓
  

  $$\Gamma(n) = (n-1)!$$
  使得阶乘能在实数集上的延拓，这也是我认为Gamma函数最大的贡献

  另外，由Gamma函数延伸出的一个函数如下，称为 Digamma 函数
  

  $$\Psi(x) = \frac{d\log\Gamma(x)}{dx}$$
  涉及求Dirichlet 分布相关的参数的极大似然估计时，往往需要使用到这个Digamma函数。与Gamma函数一样，Digamma 函数具有递归性质，如下
  $$\Psi(x+1) = \Psi(x) + \frac{1}{x}$$
  ​

  问题：

  1. 该积分式有原函数吗，不然是如何计算的？
  2. 由matlab计算得到$\Gamma(0) = \infty$那么$\Gamma(1) = 0* \Gamma(0) = 1$是为什么？

• Gamma 函数用处

  上面也说了，Gamma 函数重要意义是使得阶乘能在实数集上进行延拓，那么只要是能用阶乘表示的都可以使用Gamma 函数将其延拓至实数域

  例如导数。 $x^n$的k阶导数如下：
  

  $$f^{(k)}(x^n) = \frac{n!}{(n-k)!}x^{n-k}$$
  其中的阶乘可以用Gamma 函数表达，表达为
  $$\frac{\Gamma{(n+1)}}{\Gamma{(n-k+1)}} x^{n-k}$$
  这样就将导数的阶从整数延拓到实数,例如，取n=1我们可以计算 x 的 阶导数为
  $$\frac{\Gamma{(1+1)}}{\Gamma{(1-1/2+1)}} x^{1-1/2} = \frac{2\sqrt{x}}{\sqrt{\pi}}$$
  ​

• Gamma 分布

  Gamma函数定义为$\Gamma(x) = \int_0^\infty{t^{x-1}e^{-t} \, dt}$，稍作变换可得
  

  $$\int_0^{\infty} \frac{x^{\alpha-1}e^{-x}}{\Gamma(\alpha)}dx = 1$$
  由于其结果等于1，于是可以取积分中的函数作为概率密度，得到一个Gamma 分布的密度函数
  $$Gamma(x|\alpha) = \frac{x^{\alpha-1}e^{-x}}{\Gamma(\alpha)}$$
  如果做一个变换$x = \beta x$，则
  $$\Gamma(\alpha)= \int^\infty_0(\beta t)^{\alpha-1}e^{-\beta t} \, d\beta t = \beta^\alpha \int^\infty_0t^{\alpha-1}e^{-t\beta} \, dt$$
  这样变换之后就得到Gamma 分布的更一般的形式
  
  Gamma(t|α,β)=