1.概述
Dirichlet 分布与贝塔分布、伽马分布有着紧密的联系,在贝叶斯统计中经常被用作其它概率分布如多项分布的先验分布,且在LDA分析中得到了广泛应用,本文结合直观理解以及详细的数学推导得到狄利克雷分布具体形式,并结合可视化以加深理解。
2.直观理解
quaro问答网站上有一个举例非常直观,多项分布源于一个投掷骰子的过程,Dirichlet 分布可以视为是一个骰子工厂生产骰子的过程。也就是生产骰子是投掷骰子的前置步骤,对应上述的Dirichlet 分布(生产骰子)就是多项分布(投掷骰子)的先验分布。
比如投掷骰子N次,统计其中一个面朝上的次数具有相应的多项分布。如果Dirichlet的参数较大,则生产骰子对应的模具具有较高的精度,它生产的所有骰子都将具有接近平均多项式的系数,也就是各面无偏的骰子。如果模具精度较低,生产出的骰子将具有较高的方差(一个骰子可能有很高的概率落在1上,另一个可能有很高的概率落在5上,等等)。极端情况是当某些参数 时,方差非常大,pmf集中在角落,也就是骰子的投掷结果对某一面表现较高的倾向性和有偏性。
下面介绍如何使用 Dirichlet 分布来表征多项分布的随机可变性。还是以制造六面骰子为例,但允许抛掷的结果只能为1、2或3(这样可以简化后面的可视化,对于分析真实的六面骰子类同)。
如果骰子是完全无偏,那么三个结果的概率将相同且等于 1/3。我们可以将结果的概率表示为向量