贝塔分布与狄利克雷分布

0. 补充知识

0.1 贝塔函数 $\mathrm{B}(P,Q)$

贝塔函数也称为欧拉第一积分，定义为：
$$\begin{array}{r}\mathrm{B}(P,Q)={\int }_0^1{x}^{P-1}(1-x{)}^{Q-1}dx(P>0,Q>0)\end{array}$$
若将贝塔函数变为不定积分，则有不完全贝塔函数${\mathrm{B}}_x(P,Q)$
$$\begin{array}{r}{\mathrm{B}}_x(P,Q)={\int }_0^x{u}^{P-1}(1-u{)}^{Q-1}du(0\le x\le 1,P>0,Q>0)\end{array}$$

0.2 伽马函数 $\Gamma (x)$

伽马函数也称为欧拉第二积分，定义为：
$$\begin{array}{rl}\Gamma (x)& ={\int }_0^{+\infty }{t}^{x-1}{e}^{-t}dt(x>0)\\ & =2{\int }_0^{+\infty }{t}^{2x-1}{e}^{-t^2}dt\end{array}$$
伽马函数的一些性质：

• $\Gamma (x+1)=x\Gamma (x)$
• $\Gamma (n)=(n-1)!$
• $\Gamma (\frac{1}{2})=\sqrt{\pi }$
• 与$\beta$函数的关系：$\mathrm{B}(m,n)=\frac{\Gamma (m)\Gamma (n)}{\Gamma (m+n)}$

1. 贝塔分布 (Beta Distribution)

贝塔分布，也称为$\mathrm{B}$分布，定义在$(0,1)$区间上，有两个参数$\alpha ,\beta >0$,随机变量服从贝塔分布一般写作 $X\sim \text{Be}(\alpha ,\beta )$

1.1 概率密度函数PDF

$$\begin{array}{rl}f(x;\alpha ,\beta )& =\frac{x^{\alpha -1}(1-x{)}^{\beta -1}}{{\int }_0^1{u}^{\alpha -1}(1-u{)}^{\beta -1}du}\\ & =\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\\ & =\frac{1}{B(\alpha ,\beta )}{x}^{\alpha -1}(1-x{)}^{\beta -1}\end{array}$$

1.2 累积分布函数CDF

$$\begin{array}{r}F(x;\alpha ,\beta )=\frac{{\mathrm{B}}_x(\alpha ,\beta )}{\mathrm{B}(\alpha ,\beta )}\end{array}$$
其中，${\mathrm{B}}_x(\alpha ,\beta )$为不完全贝塔函数，定义为：

1.3 数字特征

1. 期望： $\mu =E(X)=\frac{\alpha }{\alpha +\beta }$
2. 方差： $Var(X)=E((X-\mu {)}^2)=\frac{\alpha \beta }{(\alpha +\beta {)}^2(\alpha +\beta +1)}$

2. 狄利克雷分布 (Dirichlet Distribution)

狄利克雷分布是贝塔分布的多元推广，对于$d$维的狄利克雷分布，共有$d$个参数。
狄利克雷分布是关于一组$d$个连续变量${\mu }_i\in [0,1]$的概率分布；或者说是一个$d$维向量的概率分布，其中向量元素${\mu }_i\in [0,1]$，且有${\sum }_{i=1}^d{\mu }_i=1$。

2.1 概率密度函数PDF

• 记$\mathbf{\mu }=({\mu }_1;{\mu }_2;\cdots ;{\mu }_d)$。
• 令参数$\mathbf{\alpha }=({\alpha }_1;{\alpha }_2;\cdots ;{\alpha }_d)$，$\hat{\alpha }={\sum }_{i=1}^d{\alpha }_i$，且有 ${\alpha }_i>0$

狄利克雷分布定义为：
$$\begin{array}{rl}p({\mu }_1,{\mu }_2,\dots ,{\mu }_d|{\alpha }_1,{\alpha }_2,\dots ,{\alpha }_d)& =p(\mathbf{\mu }|\mathbf{\alpha })=\text{Dir}(\mathbf{\mu }|\mathbf{\alpha })\\ & =\frac{\Gamma (\hat{\alpha })}{\Gamma ({\alpha }_1)\Gamma ({\alpha }_2)\cdots \Gamma ({\alpha }_d)}\prod _{i=1}^d{\mu }_i^{{\alpha }_i-1}\\ & =\frac{\Gamma (\hat{\alpha })}{{\prod }_{i=1}^d\Gamma ({\alpha }_i)}\prod _{i=1}^d{\mu }_i^{{\alpha }_i-1}\end{array}$$
显然，当$d=2$时，狄利克雷分布退化为贝塔分布。

2.2 数字特征

1. 期望：$\mathbb{E}[{\mu }_i]=\frac{{\alpha }_i}{\hat{\alpha }}$
2. 方差：$Var[{\mu }_i]=\frac{{\alpha }_i(\hat{\alpha }-{\alpha }_i)}{\hat{\alpha }(\hat{\alpha }+1)}$