PRML：二元变量分布

伯努利分布

考虑二元随机变量 $x\in \{0,1\}$（抛硬币，正面为 1，反面为 0），其概率分布由参数 $\mu$ 决定：

$$p(x=1)=\mu$$

其中 $(0 \leq\mu \leq 1)$，并且有 $p(x=0)=1-\mu$。这就是伯努利分布（Bernoulli distribution），其概率分布可以写成：

$$\text{Bern}(x|\mu) = \mu^{x}(1-\mu)^{1-x}$$

均值和方差为：

$$\begin{align} \mathbb E[x] & = \mu \\ \text{var}[x] & = \mu(1-\mu) \end{align}$$

伯努利分布的最大似然估计

考虑一组 $x$ 的观测数据 $\mathcal D = \{x_1, \dots, x_N\}$，在独立同分布的假设下，其似然函数为

$$p(\mathcal D|\mu) = \prod_{n=1}^N p(x_n|\mu) = \prod_{n=1}^N \mu^{x_n}(1-\mu)^{1-x_n}$$

对数似然为

$$\ln p(\mathcal D|\mu) = \sum_{n=1}^N \ln p(x_n|\mu) = \sum_{n=1}^N \left\{x_n\ln \mu + (1-x_n)\ln (1-\mu)\right\}$$

对数似然值只依赖于 $\sum_{n=1}^N x_n$ 的取值，而事实上 $\sum_{n=1}^N x_i$ 就是伯努利分布的一个充分统计量，它可以提供参数 $\mu$ 的全部信息。

对 $\mu$ 最大化对数似然，我们很容易得到

$$\mu_{ML} = \frac 1 N \sum_{n=1}^N {x_n}$$

即最大似然估计值为样本均值（sample mean），若样本中 $x=1$ 的数目为 $m$ 则：

$$\mu_{ML} = \frac{m}{N}$$

考虑抛三次硬币出现了三次正面的情况，此时 $N=m=3, \mu_{ML} = 1$。在这种情况下，最大似然估计会得到每次都是正面的结果，这显然违背了我们的正常认知。事实上，这是一种过拟合的典型表现。

为了解决这个问题，我们可以考虑引入先验知识。

二项分布

给定数据总数 $N$，$x=1$ 的总次