Dirichlet distribution的定义和性质

Dirichlet distribution

在统计学中，Dirichlet distribution 常被记为$Dir(\alpha )$,在贝叶斯统计中， Dirichlet distribution 经常被用作先验分布，事实上dirichlet distribution是分类分布(categorical distribution)和多项分布(multinomial distribution)的共轭先验。

Definitions

probability density function

参数为${\alpha }_1,...{\alpha }_k>0$的$K\ge 2$阶的狄利克雷分布具有关于欧几里得空间$R^{k-1}$上的勒贝格测度的概率密度函数：
$$\begin{gathered} f(x_1,...,x_k;{\alpha }_1,...,{\alpha }_k)=\frac{1}{\mathrm{B}(\alpha )}\prod _{i=1}^K{x}_i^{{\alpha }_i-1} \\ \sum _i^K{x}_i=1,x_i\in [0,1]foralli\in 1,..,K \\ 归一化常数是多变量Beta函数，\mathrm{B}(\alpha )=\frac{{\prod }_{i=1}^k\Gamma ({\alpha }_i)}{\Gamma ({\sum }_i^K{\alpha }_i)},\alpha =({\alpha }_1,...,{\alpha }_k) \end{gathered}$$

性质（Properties）

均值和方差

$X=(x_1,...,x_k)\sim Dir(\alpha )$ ,记 ${\alpha }_0={\sum }_{i=1}^K{\alpha }_i$
则均值$E(x_i)=\frac{{\alpha }_i}{{\alpha }_0}$,

方差$Var(x_i)=\frac{{\alpha }_i({\alpha }_0-{\alpha }_i)}{{\alpha }_0^2({\alpha }_0+1)}$

边际分布 （Marginal distributions）

狄利克雷分布的边际分布是Beta分布
$$x_i\sim \mathrm{B}({\alpha }_i,{\alpha }_0-{\alpha }_i)$$

共轭与分类分布或多项分布（conjugate to categorical or multinomial)

狄利克雷分布是分类分布和多项分布的共轭先验分布。这意味着如果数据点具有分类分布或者多项式分布，并且分布参数（生成数据点的概率向量）的先验分布是狄利克雷分布，则参数的后验分布也是狄利克雷分布。从直觉上来理解，在这种情况下，在没有获得观测数据点时，我们对参数的了解是此参数服从狄利克雷分布（参数的先验分布），然后我们根据获得的数据点来更新我们对参数的认知，并最终得到与旧分布相同的新分布（参数的后验分布）。用数学模型表示就是：
$$\begin{array}{rl}\alpha & =({\alpha }_1,...,{\alpha }_K)\\ p|\alpha & =(p_1,...,p_K)\sim Dir(K,\alpha )(先验分布）\\ X|p& =(x_1,...,x_K)\sim Cat(K,p)\\ thenthefollowingholds:& \\ c& =(c_1,...,c_K)=分类i出现的次数\\ p|X,\alpha & \sim Dir(K,c+\alpha )=Dir(K,c_1+{\alpha }_1,...,c_k+{\alpha }_K)（后验分布）\end{array}$$
更多性质请参考：
https://en.wikipedia.org/wiki/Dirichlet_distribution