极大似然估计的数学意义及例题

最大似然估计是一种用来在给定观察数据下估计所需参数的技术。比如，如果已知人口分布遵从正太分布，但是均值和方差未知， MLE（maximum likelihood estimation）可以利用有限的样本来估计这些参数。

1.正规定义

从分布$f_0$中引出$n$个独立同分布的观察$x_1,x_2,...x_n$，其中$f_0$是从一族依赖于几个$\theta$参数的分布$f$而得来的。
MLE的目标就是最大化似然函数：
$$L=f(x_1,x_2,...x_n|\theta )=f(x_1|\theta )\times f(x_2|\theta )\times ...\times f(x_n|\theta )$$
通常，$log$似然函数更容易处理：
$$\hat{l}=\frac{1}{n}logL=\frac{1}{n}\sum _{i=1}^{n}logf(x_i|\theta )$$

2.举例

举例一

一个硬币被抛了100次，有61次正面朝上，假设硬币向上的概率猜测有三个$\frac{1}{3}$,$\frac{1}{2}$,$\frac{2}{3}$，以上三个哪个是最大似然估计？
求解：这个是伯努利分布，假设唯一参数为$p$，因此：
$$\begin{gathered} P(H=61|p=\frac{1}{3})=\left(\begin{array}{c}100\\ 61\end{array}\right){\left(\frac{1}{3}\right)}^{61}{\left(1-\frac{1}{3}\right)}^{39}\approx 9.6\times 10^{-9} \\ P(H=61|p=\frac{1}{2})=\left(\begin{array}{c}100\\ 61\end{array}\right){\left(\frac{1}{3}\right)}^{61}{\left(1-\frac{1}{2}\right)}^{39}0.007 \\ P(H=61|p=\frac{2}{3})=\left(\begin{array}{c}100\\ 61\end{array}\right){\left(\frac{2}{3}\right)}^{61}{\left(1-\frac{2}{3}\right)}^{39}\approx 0.40 \end{gathered}$$
比较以上三个值可以得出$p=\frac{2}{3}$是极大似然估计。

举例二

该例子利用导数为0得到极大似然估计，主动计算。