【联系】—— Beta 分布与二项分布、共轭分布

1. 伯努利分布与二项分布

• 伯努利分布：$\text{Bern}(x|\mu)=\mu^{x}(1-\mu)^{1-x}$，随机变量 $x$ 取值为 0,1，$\mu$ 表示取值为 1 的概率；
• 二项分布：$\text{Bin}(m|N,\mu)=\binom{N}{m}\mu^{m}(1-\mu)^{N-m}$

2. Beta 分布

$\text{Beta}(\mu|a,b)$ 是对 $\mu$ 进行建模；

$$\text{Beta}(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}$$

3. 共轭分布

以 $\text{Beta}(\mu|a, b)$ 分布为参数 $\mu$ 的先验，二项分布为似然函数，则后验概率（poster）：

$$p(\mu|m,\ell, a, b)\propto \mu^{m+a-1}(1-\mu)^{\ell+b-1}$$

进一步，根据 $Beta$ 分布的形式，我们可定义出符合 Beta 分布形式的后验概率形式：

$$p(\mu|m,\ell, a, b)=\frac{\Gamma(m+a+\ell+b)}{\Gamma(m+a)\Gamma(\ell+b)}\mu^{m+a-1}(1-\mu)^{\ell+b-1}$$