Dirichlet分布的推导与理解

1.概述

        Dirichlet 分布与贝塔分布、伽马分布有着紧密的联系，在贝叶斯统计中经常被用作其它概率分布如多项分布的先验分布，且在LDA分析中得到了广泛应用，本文结合直观理解以及详细的数学推导得到狄利克雷分布具体形式，并结合可视化以加深理解。

2.直观理解

        quaro问答网站上有一个举例非常直观，多项分布源于一个投掷骰子的过程，Dirichlet 分布可以视为是一个骰子工厂生产骰子的过程。也就是生产骰子是投掷骰子的前置步骤，对应上述的Dirichlet 分布(生产骰子）就是多项分布(投掷骰子）的先验分布。

        比如投掷骰子N次，统计其中一个面朝上的次数具有相应的多项分布。如果Dirichlet的参数较大，则生产骰子对应的模具具有较高的精度，它生产的所有骰子都将具有接近平均多项式的系数，也就是各面无偏的骰子。如果模具精度较低，生产出的骰子将具有较高的方差(一个骰子可能有很高的概率落在1上，另一个可能有很高的概率落在5上，等等)。极端情况是当某些参数 时，方差非常大，pmf集中在角落，也就是骰子的投掷结果对某一面表现较高的倾向性和有偏性。

​        下面介绍如何使用 Dirichlet 分布来表征多项分布的随机可变性。还是以制造六面骰子为例，但允许抛掷的结果只能为1、2或3（这样可以简化后面的可视化，对于分析真实的六面骰子类同)。

        如果骰子是完全无偏，那么三个结果的概率将相同且等于 1/3。我们可以将结果的概率表示为向量