机器学习：LDA_数学基础_6：MCMC：Dirichlet分布

1. 二元分布

• $x\in \{0, 1\}$ ; $0 <=\mu < =1$

$Bern(x|\mu) = \mu^x(1-\mu)^{1-x}$

• 设数据集合是 $D=\{x_1, ... ,x_N\}$ ,且每次观测都是从 $p(x|\mu)$ 中得到；则似然函数是

$p(D|\mu) = \prod_{n=1}^N p(x_n|\mu) = \prod_{n=1}^N \mu^{x_n}(1-\mu)^{1-x_n}$

=> 最大化对数似然函数，可得

• $\mu_{ML} = \frac{1}{N} \sum_{n=1}^N x_n=\frac{m}{N}$

其中：m是正面朝上的次数

---

2. Beta分布

• 二项分布中正面向上的比例就是均值
• 所以小规模数据会产生过拟合现象

共轭性

• 设先验概率是：$p(\mu)$
• 似然函数是:$\mu^x(1-\mu)^{1-x}$
• 选择似然函数的共轭先验作为$P(\theta)$的分布

Beta分布

• 选择先验分布是Beta分布
• beta分布和二项分布是共轭分布
• beta分布和似然函数是共轭先验

先验	似然
高斯	高斯
Beta	二项
Gamma	高斯
Dirichlet	多维正态

---

$Beta(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{(a-1)}(1-\mu)^{(b-1)}$

$\Gamma(x)=\int_0^{\infty } u^{x-1} e^{-u} du$

$E[\mu] = \frac{a}{a+b}$
$var[\mu] = \frac{ab}{(a+b)^2(a+b+1)}$
其中：$a, b 是超参数$

---

Beta后验

$p(\mu|m ,l ,a, b) \propto \mu^{m+a-1}(1-\mu)^{l+b+1}$ ………其中：$l=N - m:反面朝上的个数$

---

3. 多项分布

$\sum_{k=1}^K x_k =1$; 如果 $\mu_{x_k}$ 表示 $x_k =1$的概率， 则 x 的分布

$p(x|\mu) = \prod \limits_{k=1}^K \mu_k^{x_k}$

$E[x|\mu] = \sum \limits_x p(x|\mu)x = (\mu_1,\mu_2, ...,\mu_K)^T = \mu$

数据集分布

• N个独立观测值：$x_1,......,x_N$的数据集 D, 似然函数是：

$p(D|\mu) = \prod_{m=1}^N \prod_{k=1}^K \mu_k^{x_{nk}} =\prod_{k=1}^K \mu_k ^{m_k}$
其中：$m_k = \sum_n x_{nk}$

• 最大似然解

$\mu_k^{ML} = \frac{m_k}{N}$

多项式分布

$Mult(m_1,.....,m_K| \mu ,N) = (_{m_1m_2...m_K}^N) \prod _{k=1}^ K \mu_k^{m_k}$

---

4. Dirichlet分布

$Dir(\mu|\alpha) = \frac{\Gamma(\alpha_0)}{\Gamma(\alpha_1)..\Gamma(\alpha_K)} \prod\limits_{k=1}^K \mu_k^{\alpha_k-1}$

---

5. 结论

• $Beta$分布，$E[\mu]=\frac{a}{a+b}$ 超参数，可以控制 $\mu$ ;
• $Dirichlet$ 分布
  $E(p) = (\frac{\alpha_1}{\sum_{i=1}^K \alpha_i}, \frac{\alpha_2}{\sum_{i=1}^K \alpha_i},..., \frac{\alpha_K}{\sum_{i=1}^K \alpha_i})$