Dirichlet distribution 狄利克雷分布

一些函数

• $Gamma$ 函数
  $$\Gamma (x)={\int }_0^{\infty }{t}^{x-1}{e}^{-t}dt$$
• 贝叶斯概率
  $$\pi (\theta \mid x)=\frac{f(x\mid \theta )\pi (\theta )}{{\int }_{\Theta }f(x\mid \theta )\pi (\theta )d\theta }$$
• $Beta$ 函数
  $$\mathrm{B}(m,n)={\int }_0^1{x}^{m-1}(1-x{)}^{n-1}dx$$
• $Beta$ 函数和 $Gamma$ 函数的关系
  $$\mathrm{B}(m,n)=\frac{\Gamma (n)\Gamma (m)}{\Gamma (m+n)}$$

换元 $x={\cos }^2\theta$ 得
$$\mathrm{B}(m,n)=-2{\int }_{\frac{\pi }{2}}^0\left({\sin }^{2n-2}\theta \right)\left({\cos }^{2m-2}\theta \right)(\sin \theta )(\cos \theta )dx=2{\int }_0^{\frac{\pi }{2}}\left({\sin }^{2n-1}\theta \right)\left({\cos }^{2m-1}\theta \right)d\theta \text{ (a) }$$考虑Gamma函数 $\Gamma (n)={\int }_0^{+\infty }{e}^{-x}{x}^{n-1}dx$ ，换元 $x=y^2$，得 $\Gamma (n)=2{\int }_0^{+\infty }{e}^{-y^2}{y}^{2n-1}dy$
同样， $\Gamma (m)=2{\int }_0^{+\infty }{e}^{-z^2}{y}^{2z-1}dy$
那么， $\Gamma (n)\Gamma (m)=4{\int }_0^{+\infty }{\int }_0^{+\infty }{e}^{-y^2-z^2}{y}^{2n-1}{z}^{2m-1}dydz$
令 $y=x\cos \theta ,z=x\sin \theta$ ，
$$\begin{array}{rl}\Gamma (n)\Gamma (m)& ={\int }_0^{\frac{\pi }{2}}{\int }_0^{+\infty }{e}^{-x^2}{x}^{2m+2n-1}\left({\sin }^{2n-1}\theta \right)\left({\cos }^{2m-1}\theta \right)dxd\theta =\left[2{\int }_0^{+\infty }{e}^{-x^2}{x}^{2m+2n-1}dx\right]\left[2{\int }_0^{\frac{\pi }{2}}\left({\sin }^{2n-1}\theta \right)\left({\cos }^{2m-1}\theta \right)d\theta \right]\\ & =\Gamma (m+n)\mathrm{B}(m,n)\end{array}$$

二项分布

二项分布 = 伯努利分布，
记为 $X\sim b(n,\theta )$，$n$ 次抛硬币中获得 $k$ 次正面的概率为：
$$b(k,n,\theta )=P(X=k)=C(n,k)\times {\theta }^k\times (1-\theta {)}^{n-k}$$

Beta分布

是指一组定义在 $(0,1)$区间的连续概率分布，有两个参数 $\alpha ,\beta >0$，称为形状参数。Beta分布定义了二项分布的参数 $\theta$ 的分布，或者说 先验分布。
$$Beta(\theta ;\alpha ,\beta )=\frac{{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}}{\mathrm{B}(\alpha ,\beta )}=\frac{\Gamma (\alpha +\beta )}{\Gamma (\alpha )\Gamma (\beta )}{\theta }^{\alpha -1}(1-\theta {)}^{\beta -1}$$

• Beta分布与二项分布是 共轭先验 的（Conjugate prior）。即Beta分布乘上一个二项分布的似然函数后，得到的后验分布仍然是一个Beta分布。
  $$Beta(\theta ;{\alpha }_0,{\beta }_0)\times b(hits,hits+misses,\theta )=Beta(\theta ;{\alpha }_0+hits,{\beta }_0+misses)$$

实例

多项式分布

记为 $X～PN(n,p_1,p_2,\dots ,p_k)$
假设随机试验有 $k$ 个可能的结果 $A_1,A_2,...,A_k$，每个结果出现的次数为随机变量$X_1,X_2,...,X_n$，每个结果出现的概率为$p_1,p_2,...,p_k$。$n$ 次独立重复试验中随机事件出现的次数分别为 $n_1,n_2,...,n_k$ 的概率符合 多项式分布。
$$P\left(X_1=n_1,X_2=n_2,\dots ,X_k=n_k\right)=\frac{n!}{n_1!n_2!\dots n_k!}{p}_1^{n_1}{p}_2^{n_2}\dots p_k^{n_k}$$

Dirichlet 分布

$Dirichlet$ 分布是多项式分布的参数的分布，与多项分布是共轭先验的。即 $Dirichlet$ 分布乘上一个多项分布的似然函数后，得到的后验分布仍然是一个 $Dirichlet$ 分布。
$$Dirichlet\left({\theta }_1,\dots ,{\theta }_K;{\alpha }_1,\dots ,{\alpha }_K\right)=\frac{1}{\mathrm{B}(\mathbf{\alpha })}\prod _{i=1}^K{\theta }_i^{{\alpha }_i-1}=\frac{\Gamma ({\sum }_{i=1}^K{\alpha }_i)}{{\prod }_{i=1}^K\Gamma ({\alpha }_i)}\prod _{i=1}^K{\theta }_i^{{\alpha }_i-1}$$