狄利克雷分布

简单的例子来说明。假设你手上有一枚六面骰子。你抛掷1000次，得到一个朝向的分布p1 = <H1, H2, H3, H4, H5, H6>。H1是指数字1朝上次数，H2是指数字2朝上次数， H3， H4， H5， H6依次类推。你再抛掷1000次，又会得到一个朝向的分布p2。重复N次之后，你就会得到N个分布：p1, p2, p3, … , pn. 假如有这样一个分布D，能够描述抛这枚骰子1000次，得到p1的概率是多少，那么我们就可以简单地把D理解为分布在pi之上的分布。而pi本身又是一个分布，所以D就是分布的分布。Dirichlet分布，可以理解为多项式分布的分布。它的一个样本点是一个多项式分布。

Dirichlet分布其实也是采样出一个值（向量），从这个意义上来说，它其实和其它分布并无太大不同？那为什么大家都说Dirichlet分布式分布的分布呢？因为Dirichlet分布出现的场景，总是用于生成别的分布（更确切地说，总是用于生成Multinomial分布）Dirichlet分布得到的向量各个分量的和是1，这个向量可以作为Multinomial分布的参数，所以我们说Dirichlet能够生成Multinomial分布，也就是分布的分布。Dirichlet分布和Multinomial分布式共轭的，Dirichlet作为先验，Multinomial作为似然，那么后验也是Dirichlet分布。所以Dirichlet和Multinomial这个组合总是经常被使用，Dirichlet分布在这里的角色就是分布的分布（Multinomial分布的分布）。