极大似然估计学习笔记

概念

1 概率和统计：概率是已知模型和参数，推数据。统计是已知数据，推模型和参数；
2 极大似然估计(Maximum likelihood estimation，简称MLE)：俗理解来说，就是利用已知的样本结果信息，反推最具有可能（最大概率）导致这些样本结果出现的模型参数值，换句话说，极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”；
3 极大似然估计的前提假设：所有的采样都是独立同分布的。

似然函数始末

在散型的情形下，随机变量$X$的概率分布是已知的，但是该分布的参数$\theta$未知，需要我们通过一定方法估计。举一个例子：

---

现有三个不标准的硬币，其中第一枚抛出后正面朝上的概率为$\frac{2}{5}$，第二枚硬币抛出后正面朝上的概率为$\frac{1}{2}$，第三枚抛出后正面朝上的概率为$\frac{3}{5}$。取出其中一枚硬币，抛掷20次，其中正面朝上的次数为13次，请问取出的是第几枚硬币。
答： 分别计算三枚硬币抛掷20次，有13次正面朝上的概率：
第一枚：
$$C_{20}^{13}(\frac{2}{5}{)}^{13}(1-\frac{2}{5}{)}^{20-13}=0.01456305$$
第二枚：
$$C_{20}^{13}(\frac{1}{2}{)}^{13}(1-\frac{1}{2}{)}^{20-13}=0.07392883$$
第三枚：
$$C_{20}^{13}(\frac{3}{5}{)}^{13}(1-\frac{3}{5}{)}^{20-13}=0.165882265$$
所以这枚硬币更可能是第三枚。

---

我们的参数$\theta$就是上例中待估计的正面向上的概率值。对应到上例，随机变量$X$的取值$x_i$表示抛掷$k$次硬币，正面向上的次数，这个概率为：
P ( { X = x i } ) = C k x i θ x i ( 1 − θ ) k − x i P(\{X=x_i\})=C_{k}^{x_i}\theta^{x_i}(1-\theta)^{k-x_i} P({X=xi​})=Ckxi​​θxi​(1−θ)k−xi​
其中，$x_i$、$k$这些参数是已知的，参数$\theta$是未知的，因此抛掷$k$次硬币，有$x_i$次向上的概率是一个关于参数$\theta$的函数，写作：
P ( { X = x i } ) = p ( x i ; θ ) P(\{X=x_i\})=p(x_i;\theta) P({X=xi​})=p(xi​;θ)
如果做$n$次这样的实验，每一次实验中，都是连续抛掷$k$次硬币，统计出现正面的次数，得到一系列样本：$x_1,x_2,x_3,...,x_n$，这些样本的取值之间满足相互独立，那么这一串样本取得上述取值 { X 1 = x 1 , X 2 = x 2 , X 3 = x 3 , . . . , X n = x n } \{X_1=x_1,X_2=x_2,X_3=x_3,...,X_n=x_n\} {X1​=x1​,X2​=x2​,X3​=x3​,...,Xn​=xn​}的联合概率为：
$$\prod _{i=1}^{n}p(x_i;\theta )=p(x_1;\theta )\cdot p(x_2;\theta )\cdot p(x_3;\theta )\cdot ...\cdot p(x_n;\theta )$$
变换一下形式：
$$L(\theta )=L(x_1,x_2,x_3,...,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$$
$L(\theta )$就是已知样本值$x_1,x_2,x_3,...,x_n$的似然函数，它描述的是取得这一串指定样本值的概率值，而这个概率值完全由未知参数$\theta$决定。
如果$X$是一个连续型随机变量，则：
$$L(\theta )=L(x_1,x_2,x_3,...,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

极大似然估计原理

思想

显然，似然函数$L(\theta )=L(x_1,x_2,x_3,...,x_n;\theta )$是指随机变量$X$取到指定的一组样本值$x_1,x_2,x_3,...,x_n$时的概率大小。当未知的待估计参数$\theta$取不同的值时，计算出来的该列车的值会发生变化。
例如，当$\theta ={\theta }_0$时，似然函数$L(x_1,x_2,x_3,...,x_n;{\theta }_0)$的取值为0或趋近于0，那么意味着当$\theta ={\theta }_0$时，随机变量$X$取得这一组样本$x_1,x_2,x_3,...,x_n$的概率为0，即根本不可能或可能性极小得到这样一组样本值，那么就不应该取${\theta }_0$为参数估计值。
如果当$\theta$取${\theta }_1$和${\theta }_2$两种不同的值时，似然函数的值$L(x_1,x_2,x_3,...,x_n;{\theta }_1)>L(x_1,x_2,x_3,...,x_n;{\theta }_2)$，即$\theta$取${\theta }_1$比取${\theta }_2$有更大的可能获得这一组样本值$x_1,x_2,x_3,...,x_n$，所以在选取估计值时更倾向于选取${\theta }_1$。
因此我们需要做的就是在未知参数$\theta$的取值范围$\Theta$中选取使得似然函数$L(x_1,x_2,x_3,...,x_n;\theta )$能够取得最大值的$\hat{\theta }$，作为未知参数的估计值，由于$\hat{\theta }$使得似然函数取值达到最大，因此$\hat{\theta }$就是未知参数$\theta$的极大似然估计。

计算

在给定概率模型和一组相互独立的观测样本$x_1,x_2,x_3,...,x_n$的基础之上，求使得似然函数$L(\theta )=L(x_1,x_2,x_3,...,x_n;\theta )={\prod }_{i=1}^{n}p(x_i;\theta )$取得最大值的未知参数$\theta$的取值(连续情况类似)。
那么，就直接对似然函数求导，使得导数为0的$\theta$的取值，就是我们要找的极大似然估计值$\hat{\theta }$。由于函数$g(x)$和函数$ln(g(x))$的单调性时一致的，并且$L(\theta )$的式子都是连乘，所以将其转换成$ln(L(\theta ))$:
$$ln(L(\theta ))=ln(\prod _{i=1}^{n}p(x_i;\theta ))=\sum _{i=1}^{n}ln(p(x_i;\theta ))$$
此时在对该函数求导，如果上式有唯一解，并且还是最大值点，那么那就是我们要求的极大似然估计值。
更一般的，对于多参数情况：
$$ln(L({\theta }_1,{\theta }_2,...,{\theta }_k))=ln(\prod _{i=1}^{n}p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k))=\sum _{i=1}^{n}ln(p(x_i;{\theta }_1,{\theta }_2,...,{\theta }_k))$$
然后对于每一个待估计的未知参数${\theta }_i$，都求偏导数，并令其为零，得到如下方程式：
$$\{\begin{array}{l}\frac{\partial lnL}{\partial {\theta }_1}=0\\ \frac{\partial lnL}{\partial {\theta }_2}=0\\ \cdot \cdot \cdot \\ \frac{\partial lnL}{\partial {\theta }_k}=0\end{array}$$
解出该方程即可。

需要注意的是极大似然估计值可能不存在，并且如果存在也有可能它的值不唯一。可以参考下面两个图：

如果极大似然函数$L(\theta )$在极大值处不连续，一阶导数不存在，则 MLE 不存在。

MLE不唯一的情况。