0. 阅读说明
与LDA紧密相关的必要且最小知识集合为博文的正文。凡是灰色框中的内容为拓展和补充内容,直接跳过并不会影响你的理解。灰色框指的是如下形式的段落:
这是一个灰色框示意段落
这部分内容为补充性内容,直接跳过并不会影响你的理解
1 β 分布
1.1 β 分布
β
分布的概率密度为:
其中:
图像:
1.2 如何更好的理解 β 分布?
此时 X(k) 的分布即为 β 分布
1.2.1 第一种理解(很流行但是不推荐)
这种理解方式,我不推荐,尽管网上“争相抄袭”
以下内容来自:
LDA-math-认识Beta/Dirichlet分布(1)
1.2.2 第二种理解(推荐)
回顾
beta
分布:
β
分布的概率密度为:
其中:
假设一枚硬币正面朝上的概率为
x
,则反面朝上的概率为
如图所示:
横轴为x的取值。纵轴为x取得某一值出现的次数。这条曲线是一条有零点0,1的曲线,因此根据高中的知识,我们就可以设这条曲线为:
但是,这条曲线还不能说是概率密度函数,因为它在定义域上的积分为必为1.为了保证为1我们可以令曲线与x轴围成的面积为 B(α,β) ,这样我们可以构造一个概率密度函数:
解答一:
假设
a=α−1,b=β−1
并为令b为正整数。那么通过分部积分,可以得到:
可以证明,当b不是整数时,在实数域上仍然是良定义的。
如下所示:
解答二:
解答三:
1.3 β 分布的性质
期望:
2. 共轭先验
2.1 共轭先验和共轭分布
2.2 β 分布与二项分布的共轭关系
2.3 伪计数
2.4 共轭先验的意义
以后只要我们说:“A的共轭先验是B”,这句话的意思就是说B分布=A分布 × B分布