Beta 分布归一化的证明（系数是怎么来的），期望和方差的计算

1. $\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}$：归一化系数

$$\text{Beta}(\mu|a,b)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}$$

面对这样一个复杂的概率密度函数，我们不禁要问，$\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}$ 是怎么来的，还有既然是一种分布，是否符合归一化的要求，即：

$$\int_{0}^1\text{Beta}(\mu|a,b)d\mu=1$$

通过后续的求解我们将发现，这两者其实是同一个问题，即正是为了使得 Beta 分布符合归一化的要求，才在前面加了 $\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}$，这样复杂的归一化系数。

为了证明：

$$\int_{0}^1\text{Beta}(\mu|a,b)=1 ⇒ \int_{0}^1\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}d\mu\\ \Downarrow\\ \int_0^1\mu^{a-1}(1-\mu)^{b-1}d\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$$

进一步，根据 $\Gamma(x)=\int_0^{\infty}e^{-t}t^{x-1}dt$ 的定义，我们首先来计算（令 $t=x+y$）：

$$\begin{split} \Gamma(a)\Gamma(b)=&\int_0^{\infty}e^{-x}x^{a-1}dx\int_0^\infty e^{-y}y^{b-1}dy\\ =&\int_0^\infty x^{a-1}\left\{\int_x^{\infty}e^{-t}{(t-x)}^{b-1}dt\right\}dx \quad （交换 t 与 x 的积分顺序，注意画图）\\ =&\int_{0}^{\infty}e^{-t}\left\{\int_0^t x^{a-1}(t-x)^{b-1}dx\right\}dt\quad （变换替换 x=t\mu）\\ =&\int_{0}^{\infty}e^{-t}\left\{\int_0^1 (t\mu)^{a-1}(t-t\mu)^{b-1}td\mu\right\}dt\\ =&\int_0^\infty e^{-t}t^{a+b-1}dt\int_0^1\mu^{a-1}(1-\mu)^{b-1}d\mu\\ =&\Gamma(a+b)\int_0^1\mu^{a-1}(1-\mu)^{b-1}d\mu \end{split}$$

因此：

$$\int_0^1\mu^{a-1}(1-\mu)^{b-1}d\mu=\frac{\Gamma(a)\Gamma(b)}{\Gamma(a+b)}$$

2. 期望与方差的计算

首先来看期望：

$$\begin{split} \mathbb E(\mu)=&\int_0^1\mu \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}d\mu\\ =&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\int_0^1\mu^{a+1-1}(1-\mu)^{b-1}d\mu\\ =&\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a+1)\Gamma(b)}{\Gamma(a+1+b)}\\ =&\frac{a}{a+b} \end{split}$$

计算方差之前，首先计算二阶矩：

$$\mathbb E(\mu^2)=\frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\frac{\Gamma(a+2)\Gamma(b)}{\Gamma(a+2+b)}=\frac{a(a+1)}{(a+b)(a+b+1)}$$

因此方差：

$$\text{var}[\mu]=\mathbb E(\mu^2)-\mathbb E^2(\mu)=\frac{ab}{(a+b)^2(a+b+1)}$$