机器学习中的数学——常用概率分布（十一）：狄利克雷分布（Dirichlet分布）

分类目录：《机器学习中的数学》总目录
相关文章：
· 常用概率分布（一）：伯努利分布（Bernoulli分布）
· 常用概率分布（二）：范畴分布（Multinoulli分布）
· 常用概率分布（三）：二项分布（Binomial分布）
· 常用概率分布（四）：均匀分布（Uniform分布）
· 常用概率分布（五）：高斯分布（Gaussian分布）/正态分布（Normal分布）
· 常用概率分布（六）：指数分布（Exponential分布）
· 常用概率分布（七）： 拉普拉斯分布（Laplace分布）
· 常用概率分布（八）：狄拉克分布（Dirac分布）
· 常用概率分布（九）：经验分布（Empirical分布）
· 常用概率分布（十）：贝塔分布（Beta分布）
· 常用概率分布（十一）：狄利克雷分布（Dirichlet分布）
· 常用概率分布（十二）：逻辑斯谛分布（Logistic 分布）

---

狄利克雷分布是关于一组$d$个连续变量$x_i\in [0,1]$的概率分布，${\sum }_i{x}_i=1$。令$\mu =({\mu }_1,{\mu }_2,\cdots ,{\mu }_d)$，参数$\alpha =({\alpha }_1,{\alpha }_2,\cdots ,{\alpha }_d)$，其中${\alpha }_i>0$且$\hat{\alpha }={\sum }_i{\alpha }_i$。

$$Dir(x|\alpha )=\frac{\Gamma (\hat{\alpha })}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\cdots \Gamma ({\alpha }_i)}\prod _{i=1}^d{x}_i^{{\alpha }_i-1}$$

狄利克雷分布有如下性质：

• $E[x_i]=\frac{{\alpha }_i}{\hat{\alpha }}$
• $Var(x_i)=\frac{{\alpha }_i(\hat{\alpha }-{\alpha }_i)}{{\hat{\alpha }}^2(\hat{\alpha }+1)}$
• $Cov(x_i,x_j)=\frac{{\alpha }_i{\alpha }_j}{{\hat{\alpha }}^2(\hat{\alpha }+1)}$

当$d=2$时，狄利克雷分布退化为贝塔分布。