狄利克雷分布公式_狄利克雷过程的一些理解

狄利克雷过程到底是什么？暂时没搞明白，先写一些目前的想法

首先是多项式分布和狄利克雷分布

表示什么意思呢？我以掷骰子举例。假如有个骰子，有N个面，每个面的概率分别为

，如果它是均匀的，那么

，多简单的世界；如果我们对它一无所知，每个面投掷概率不确定，那么我们可以认为

是一个分布，而不再是一个点，在这个骰子出现可能性的样本概率空间里，其分布可以用狄利克雷分布表示，其参数

决定着分布的形状，是个超参数，然后我们投掷骰子，用结果修正参数。为什么选用Dir分布作为先验分布呢？因为其与多项式分布共轭。

现在有了三个空间，分别是参数空间（超参数），样本概率空间（形状由超参数确定），样本抽取结果。一般来说，我们知道样本抽取结果，手工设定参数空间，然后通过先验分布和似然的操作得到后验分布。

什么服从某个分布？就是得到某个样本的概率等于此分布在该样本处的值。所以，抽样就是先选定一个样本，然后以一定概率通过，没通过就舍弃掉。

如果骰子的面数不停增加，直到无穷，变成了球体（或者椭球体，或者其他体，反正表面光滑了），那么其样本概率空间、参数空间也会变成无穷，参数不再用一个向量表示了，而是用一个函数表示，比如

，那么狄利克雷分布就变成了

，其中

表示Strength parameter。注意，

也可以是有限维的，不影响下面的结论，最重要的是对样本概率空间和参数空间的任意划分。

如果说一个概率测度G服从Dir过程，那么它满足：对于样本概率空间的任意有限划分，

即抽样命中

的概率服从一个Dir分布。注意，很多博客在公式后半部分把

写成

，这是不对的，因为一个是参数空间，一个是样本概率空间，虽然两者的划分是一致的，但不能混为一谈。

刚开始的时候，我受一些博客的误导，以为G是狄利克雷过程中抽样得到的，还要求G必须离散，大错特错！针对不同的问题，G是不一样的，只要能满足上面的要求“对样本概率空间的任意划分，命中划分空间的概率分布都服从狄利克雷分布”，那么G就服从狄利克雷过程。所以，重点在于证明某种过程满足上面的结果与否，就知道它是否服从狄利克雷过程。

中国餐馆过程：第一个客人坐第一个桌子，第n+1个客人以

的概率坐新桌子，以

的概率坐第k号旧桌子，其中

是超参数，

是第k号桌子的人数。证明过程如下：假如共

张桌子，每张桌子被选中的先验概率服从狄利克雷分布，参数都是

，共来了n个人，每张桌子的人数是

，服从多项式分布，所以每张桌子被选中的后验概率变成了

第n+1个人选中第

张桌子的概率为

其中

表示跟上面一样，我写烦了，就省略了。如果

，上式变成

，就是中国餐馆过程的数值。