伯努利分布的极大似然估计一个示例，详细展开的方程求解步骤

此示例是 什么是极大似然估计 中的一个例子，本文的目的是给出更加详细的方程求解步骤，便于数学基础不好的同学理解。

回顾问题

我们在使用伯努利分布的极大似然估计时，目标是找到参数 $p$，使得观测数据 $x_1,x_2,\dots ,x_n$ 出现的概率最大。每个 $x_i$ 可能是 0 或 1，因此可以使用伯努利分布来描述。

• 伯努利分布的概率质量函数为：
  $$P(X=x_i|p)=p^{x_i}(1-p{)}^{1-x_i}$$

  其中 $p$ 是 $X$ 取值为 1 的概率。

• 似然函数（Likelihood Function）为：
  $$L(p)=\prod _{i=1}^n{p}^{x_i}(1-p{)}^{1-x_i}$$

  这个公式表示，在给定参数 $p$ 的条件下，观测数据 $x_1,x_2,\dots ,x_n$ 出现的联合概率。

对数似然函数

为了简化计算，我们通常将似然函数取对数，得到对数似然函数（Log-likelihood Function）。取对数后，可以将乘积变成求和，简化导数的计算。对数似然函数为：
$$\ell (p)=\log L(p)=\sum _{i=1}^n\log \left(p^{x_i}(1-p{)}^{1-x_i}\right)$$

可以进一步展开为：
$$\ell (p)=\sum _{i=1}^n\left(x_i\log p+(1-x_i)\log (1-p)\right)$$

这是我们要最大化的对数似然函数。

求导并令导数为 0

为了找到最大似然估计值，我们需要对 $p$ 求导，并找到使导数为 0 的 $p$。

对 $\ell (p)$ 求导：
$$\frac{d\ell (p)}{dp}=\sum _{i=1}^n\left(\frac{x_i}{p}-\frac{1-x_i}{1-p}\right)$$

把求和符号展开为两部分：
$$\frac{d\ell (p)}{dp}=\frac{{\sum }_{i=1}^n{x}_i}{p}-\frac{{\sum }_{i=1}^n(1-x_i)}{1-p}$$

接下来我们令导数等于 0，以找到最大化的 $p$：
$$\frac{{\sum }_{i=1}^n{x}_i}{p}-\frac{{\sum }_{i=1}^n(1-x_i)}{1-p}=0$$

解方程

我们通过这个方程来解 $p$。

1. 先将 $\frac{{\sum }_{i=1}^n{x}_i}{p}$ 移到等式的右边：
   $$\frac{{\sum }_{i=1}^n(1-x_i)}{1-p}=\frac{{\sum }_{i=1}^n{x}_i}{p}$$

2. 接着交叉相乘：
   $$\left(\sum _{i=1}^n(1-x_i)\right)p=\left(\sum _{i=1}^n{x}_i\right)(1-p)$$

3. 展开并整理方程：
   $$\left(\sum _{i=1}^n(1-x_i)\right)p=\sum _{i=1}^n{x}_i-\left(\sum _{i=1}^n{x}_i\right)p$$

   将含 $p$ 的项移到方程的左侧：
   $$p\left(\sum _{i=1}^n(1-x_i)+\sum _{i=1}^n{x}_i\right)=\sum _{i=1}^n{x}_i$$

4. 由于 ${\sum }_{i=1}^n(1-x_i)+{\sum }_{i=1}^n{x}_i=n$，所以方程变为：
   $$p\times n=\sum _{i=1}^n{x}_i$$

5. 最后，解出 $p$：
   $$p=\frac{{\sum }_{i=1}^n{x}_i}{n}$$

结论

这意味着参数 $p$ 的极大似然估计值 $\hat{p}$ 是样本中 1 的比例，或者说是数据集中 1 的出现频率。换句话说，极大似然估计认为最可能的 $p$ 是观测数据中 1 出现的频率。

直观理解

通过极大似然估计，我们假设观测数据来自一个伯努利分布，并通过求解最大化对数似然函数的参数 $p$，找到使观测数据出现的概率最大的那个参数。在这种情况下，$p$ 其实就是样本中 1 出现的频率。