极大似然估计量（MLE）

本篇笔记内容来源
数理统计学导论（原书第7版） 机械工业出版社

---

问题

随机变量 $X$ 的 $pdf$ 的形式为 $f(x;\theta )$ ，其中 $\theta \in \Omega$ ，$\Omega$ 是一个特定的集合. 由于参数 $\theta$ 是未知的，我们想要对它进行估计.

---

极大似然估计量

源自 $X$ 的随机样本的分布与 $X$ 相同

随机样本的联合分布包含了样本信息与参数 $\theta$ ，即

$$L(\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$

此函数称为随机样本的似然函数（likelihood function）

通常使用的估计值是使 $L(\theta )$ 达到极大值的 $\theta$ 值. 如果它是唯一的，那么称此值为极大似然估计量（mle），表示为

$$\hat{\theta }=Arg\max L(\theta )$$

应用方面

在应用中，通常使用似然函数的对数形式进行研究更容易，即

$$l(\theta )=\log L(\theta )$$

（感觉只是因为 $L(\theta )$ 是多个相同的 $f$ 的乘积，用对数处理能把指数拿下来）

由于对数函数是严格递增的，所以当 $l(\theta )$ 取极大时， $L(\theta )$ 也取极大.

---

例

假定随机样本 $X_1,X_2,\cdots ,X_n$ 的共同分布是 $\Gamma (1,\theta )$

则其似然函数的对数是

l ( θ ) = log ⁡ ∏ i = 1 n 1 θ e − x i θ = log ⁡ [ θ − n e x p { − ∑ i = 1 n x i θ } ] = − n log ⁡ θ − θ − 1 ∑ i = 1 n x i \begin{align*} l(\theta)&=\log\prod^n_{i=1}\frac{1}{\theta}e^{-\frac{x_i}{\theta}}\\ &=\log[\theta^{-n}exp\{-\frac{\sum^n_{i=1}x_i}{\theta}\}]\\ &=-n\log\theta-\theta^{-1}\sum^n_{i=1}x_i \end{align*} l(θ)​=logi=1∏n​θ1​e−θxi​​=log[θ−nexp{−θ∑i=1n​xi​​}]=−nlogθ−θ−1i=1∑n​xi​​

对 $\theta$ 求偏导

$$\frac{\partial l(\theta )}{\partial \theta }=-\frac{n}{\theta }+\frac{{\sum }_{i=1}^n{x}_i}{{\theta }^2}$$

令这个偏导数为零，便得到 $\hat{\theta }=\frac{1}{n}{\sum }_{i=1}^n{x}_i=\overline{x}$

此外，二阶偏导数在 $\overline{x}$ 处为严格负的，所以 $\overline{x}$ 为极大值点

因此，统计量 $\hat{\theta }=\overline{X}$ 是 $\theta$ 的极大似然估计量