LDA--二项分布和beta分布,多项分布和狄利克雷分布

二项分布

二项分布的概率密度函数是

Beta分布

随机变量 服从参数为的Beta分布通常写作:.这个式子中分母的函数称为 beta函数

Beta分布是二项式分布的共轭先验概率分布

多项分布

直观思考一下多项分布的极大似然估计,其实可想而知,就是数数 的个数,然后算一下占整个样本中的比例就可以作为 概率的估计了。所以通常在使用似然函数时,可以忽略其常数项—多项式系数。

狄利克雷分布(Dirichlet Distribution)

从此,公式中凡是出现积分中连乘时,就要像巴甫洛夫试验中“流着口水的狗”一样警觉,建立起“可以换成gamma函数”的条件反射。

所谓的共轭,只是我们选取(choose)一个函数作为似然函数(likelihood function)的prior probability distribution,使得后验分布函数 [3] (posterior distributions)和先验分布函数形式一致。比如Beta分布是二项式分布的共轭先验概率分布,而狄利克雷分布(Dirichlet分布)是多项式分布的共轭先验概率分布。为什么要这样做呢?这得从贝叶斯估计 [4] 谈起。

简而言之,假设参数 也是变量而非常量,而且在做试验前已经服从某个分布 (来源于以前做试验数据计算得到,或来自于人们的主观经验),然后现在做新试验去更新这个分布假设。

prior distribution * likelihood = post distribution

2. 先验分布Beta分布如下:

上式中的alpha对应的式x_k,alpha是伪计数，其中的p_k是代表每个x_k出现的概率。