简单的例子来说明。假设你手上有一枚六面骰子。你抛掷1000次,得到一个朝向的分布p1 = <H1, H2, H3, H4, H5, H6>。H1是指数字1朝上次数,H2是指数字2朝上次数, H3, H4, H5, H6依次类推。你再抛掷1000次,又会得到一个朝向的分布p2。重复N次之后,你就会得到N个分布:p1, p2, p3, … , pn. 假如有这样一个分布D,能够描述抛这枚骰子1000次,得到p1的概率是多少,那么我们就可以简单地把D理解为分布在pi之上的分布。而pi本身又是一个分布,所以D就是分布的分布。Dirichlet分布,可以理解为多项式分布的分布。它的一个样本点是一个多项式分布。
Dirichlet分布其实也是采样出一个值(向量),从这个意义上来说,它其实和其它分布并无太大不同?那为什么大家都说Dirichlet分布式分布的分布呢?因为Dirichlet分布出现的场景,总是用于生成别的分布(更确切地说,总是用于生成Multinomial分布)Dirichlet分布得到的向量各个分量的和是1,这个向量可以作为Multinomial分布的参数,所以我们说Dirichlet能够生成Multinomial分布,也就是分布的分布。Dirichlet分布和Multinomial分布式共轭的,Dirichlet作为先验,Multinomial作为似然,那么后验也是Dirichlet分布。所以Dirichlet和Multinomial这个组合总是经常被使用,Dirichlet分布在这里的角色就是分布的分布(Multinomial分布的分布)。