统计知识基础（三）常用构造估计量的两种方法——矩估计、最大似然估计

矩估计法

矩估计法的定义

矩估计法是用样本$k$阶矩作为总体的$k$阶矩的估计量，建立含待估计参数的方程，从而解出带估计参数。矩估计中，总体均值与方差的矩估计量的表达式不因不同的总体分布而异。通俗的讲就是：
例如，不论总体服从什么分布，总体期望$\mu$，与方差${\delta }^2$存在，则根据矩估计法，它们的估计量分别为 $$\begin{gathered} \hat{\mu }=\frac{1}{n}\sum _{i=1}^n{X}_i=\bar{X} \\ {\hat{\delta }}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2=S_n^2 \end{gathered}$$
当$\frac{1}{n-1}\sum _{i=1}^n(X_i-\bar{X}{)}^2=S_n^2$时，是无偏矩估计。当然，矩估计不唯一。
一般地，用样本均值$\bar{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$作为总体的均值的矩估计。
用样本二阶中心距$B_2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2$作为总体方差的的矩估计。

矩估计法的依据

设$X$为连续型随机变量，其概率密度为$f(x;{\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k)$，设$X$为离散型随机变量，其分布律为 P { X = x } = p ( x ; θ 1 , θ 2 , θ 3 , ⋯   , θ k ) P\{X=x\}=p(x;\theta_1,\theta_2,\theta_3,\cdots,\theta_k) P{X=x}=p(x;θ1​,θ2​,θ3​,⋯,θk​)，其中${\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k$为待估参数，$X_1,X_2,X_3,\cdots ,X_n$来自$X$的，假设总体$X$的前$k$阶矩且均为${\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k$的函数，即
$$\begin{gathered} {\mu }_l=E(X_l)={⎰}_{+\infty }^{-\infty }{x}^{l}f(x;{\theta }_2,{\theta }_3,\cdots ,{\theta }_k)dx(X为连续型变量) \\ {\mu }_l=E(X_l)=\sum _{x\in R_X}{x}^{l}p(x;{\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k)(X为离散型变量) \end{gathered}$$
$R_X$是$x$可能取值的范围，$l=1,2,3,\cdots ,k$，因为样本矩的连续函数依概率收敛于相应的总体矩的连续函数，样本矩$A_l=\frac{1}{n}\sum _{i=1}^n{X}_i^l$依概率收敛于相应的总体矩${\mu }_l$。

矩估计的一般步骤

1. 令${\mu }_l=A_l,l=1,2,3,\cdots ,k$，这是一个包含 k 个未知参数${\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k$的方程组；
2. 解出其中的${\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k$；
3. 用方程组的解${\hat{\theta }}_1,{\hat{\theta }}_2,{\hat{\theta }}_3,\cdots ,{\hat{\theta }}_k$分别作为${\theta }_1,{\theta }_2,{\theta }_3,\cdots ,{\theta }_k$的估计量。

例题

例1：设总体$X$的概率密度函数为
$f(x,\theta )=\frac{1}{2\theta }{e}^{-\frac{|x|}{\theta }},-\infty <x<+\infty ,\theta >0$，求$\theta$的矩估计量。
解：$f(x;\theta )$中仅含有一个$\theta$，
$$E(X)={⎰}_{-\infty }^{+\infty }x\frac{1}{2\theta }{e}^{-\frac{|x|}{\theta }}dx=0$$
$E(X)$中不含有$\theta$，因此无法解出$\theta$的矩估计量。需继续求总体的二阶原点矩。
$$\begin{array}{rl}E(X^2)& ={⎰}_{-\infty }^{+\infty }{x}^2\frac{1}{2\theta }{e}^{-\frac{|x|}{\theta }}dx\\ & =\frac{1}{\theta }{⎰}_0^{+\infty }{x}^2{e}^{-\frac{x}{\theta }}dx\\ & ={\theta }^2\Gamma (3)\\ & =2{\theta }^2\end{array}$$
用$A_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2$替换$E(X^2)$，则$A_2=\frac{1}{n}\sum _{i=1}^n{X}_i^2=2{\theta }^2$，得出$\theta$的矩估计量为
$$\hat{\theta }=\sqrt{\frac{1}{2}\frac{1}{n}\sum _{i=1}^n{X}_i^2}=\sqrt{\frac{A_2}{2}},\theta >0$$
例2
设总体$X$的均值$\mu$和方差${\delta }^2$都存在，且有$\delta >0$，但$\mu$和${\delta }^2$均为未知，又设$X_1,X_2,X_3,\cdots ,X_n$是一个样本，求$\mu$和${\delta }^2$的矩估计量。
解：
$$\begin{array}{rl}{\mu }_1& =E(X)=\mu \\ {\mu }_2& =E(X^2)=D(X)+[E(X){]}^2={\delta }^2+{\mu }^2\end{array}$$
令
$$\{\begin{array}{rl}& \mu =A_1\\ & \\ & {\delta }^2+{\mu }^2=A_2\end{array}$$
解得
$$\{\begin{array}{rl}& \mu ={\mu }_1\\ & \\ & {\delta }^2=\mu -{\mu }_1^2\end{array}$$
则
$$\begin{array}{rl}\hat{\mu }& =A_1=\bar{X}\\ {\hat{\delta }}^2& =A_2-A_1^2\\ & =\frac{1}{n}\sum _{i=1}^n{X}_i^2-\bar{X}\\ & =\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}$$

例3
设总体$X$在$[a,b]$上服从均匀分布, 其中$a,b$未知，$X_1,X_2,X_3,\cdots ,X_n$是一个样本，求$a,b$的估计量。
解：
$$\begin{array}{rl}{\mu }_1& =E(X)=\frac{a+b}{2}\\ {\mu }_2& =E(X^2)=D(X)+[E(X){]}^2\\ & =\frac{(a-b{)}^2}{12}+\frac{(a+b{)}^2}{4}\end{array}$$
令
$$\begin{array}{rl}{A}_1& =\frac{a+b}{2}=\frac{1}{n}\sum _{i=1}^n{X}_i\\ A_2& =\frac{(a-b{)}^2}{12}+\frac{(a+b{)}^2}{4}=\frac{1}{n}\sum _{i=1}^n{X}_i^2\end{array}$$
则
$$\{\begin{array}{rl}& a+b=2A_1\\ & \\ & b-a=\sqrt{12(A_2-A_1^2)}\end{array}$$
则$a,b$的估计量为：
$$\begin{array}{rl}& \hat{a}=\bar{X}-\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2}\\ & \hat{b}=\bar{X}+\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2}\end{array}$$

最大似然估计

似然函数的定义

• 总体X是连续型：设概率密度为$f(x;\theta )$，$\theta$为待估参数，$\theta \in \Theta$，$\Theta$是$\theta$可能的取值范围。设$X_1,X_2,X_3,\cdots ,X_n$是来自X的样本，则$X_1,X_2,X_3,\cdots ,X_n$的联合密度为$\prod _{i=1}^{n}f(x;\theta )$，设$x_1,x_2,x_3,\cdots ,x_n$为相应样本$X_1,X_2,X_3,\cdots ,X_n$的一个样本值，则随机点$(X_1,X_2,X_3,\cdots ,X_n)$落在点$x_1,x_2,x_3,\cdots ,x_n$的邻域内的概率近似地为$\prod _{i=1}^{n}f(x;\theta )d{x}_i$。则
  $$L(\theta )=L(x_1,x_2,x_3,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x;\theta )$$
  $L(\theta )$称为样本的似然函数。
• 总体X是离散型：设分布律 P { X = x } = p ( x ; θ ) P\{X=x\}=p(x;\theta) P{X=x}=p(x;θ)，$\theta \in \Theta$的形式是已知的，$\theta$为待估参数，$\Theta$是$\theta$可能的取值范围。设$X_1,X_2,X_3,\cdots ,X_n$是来自X的样本，则$X_1,X_2,X_3,\cdots ,X_n$的联合分布律为$\prod _{i=1}^{n}p(x_i;\theta )$
  设$x_1,x_2,x_3,\cdots ,x_n$为相应样本$X_1,X_2,X_3,\cdots ,X_n$的一个样本值，则$X_1,X_2,X_3,\cdots ,X_n$取到观察值$x_1,x_2,x_3,\cdots ,x_n$的概率，即 { X 1 = x 1 , X 2 = x 2 , X 3 = x 3 , ⋯ &ThinSpace; , X n = x n } \{X_1=x_1,X_2=x_2,X_3=x_3,\cdots,X_n=x_n\} {X1​=x1​,X2​=x2​,X3​=x3​,⋯,Xn​=xn​}的概率为
  $$L(\theta )=L(x_1,x_2,x_3,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
  $L(\theta )$称为样本的似然函数

最大似然估计的求解步骤

1.写出似然函数
$L(\theta )=L(x_1,x_2,x_3,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta )$
或者
$L(\theta )=L(x_1,x_2,x_3,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x;\theta )$
2.取对数
$$\begin{array}{rl}& lnL(\theta )=\sum _{i=1}^{n}lnp(x_i;\theta )\\ & 或者\\ & lnL(\theta )=\sum _{i=1}^{n}lnf(x_i;\theta )\end{array}$$
3.对$\theta$求导$\frac{dlnL(\theta )}{d\theta }$，并且令$\frac{dlnL(\theta )}{d\theta }=0$，解方程即得未知参数$\theta$的最大似然估计值$\hat{\theta }$。

例题

设总体$X$在$[a,b]$上服从均匀分布, 其中$a,b$未知，$x_1,x_2,x_3,\cdots ,x_n$是来自总体 $X$的一个样本值,求$a,b$的最大似然估计量。
解：令
$$\begin{array}{r}{x}_{min}=min{x}_1,x_2,x_3,\cdots ,x_n\\ x_{max}=max{x}_1,x_2,x_3,\cdots ,x_n\end{array}$$
$X$的概率密度函数为
$$\begin{array}{r}f(x;a,b)=\{\begin{array}{rl}& \frac{1}{b-a},a\le x\le b\\ & 0,其他\end{array}\end{array}$$
则似然函数为
$$\begin{array}{r}L(a,b)=\{\begin{array}{rl}& \frac{1}{(b-a{)}^n},a\le x_1,x_2,x_3,\cdots ,x_n\le b\\ & 0,其他\end{array}\end{array}$$
由于$a\le x_1,x_2,x_3,\cdots ,x_{n}vb$即$a\le x_{min},x_{max}\le b$
所以
$$\begin{array}{r}L(a,b)=\{\begin{array}{rl}& \frac{1}{(b-a{)}^n},a\le x_{min},x_{max}\le b\\ & 0,其他\end{array}\end{array}$$
对于满足条件的$a\le x_{min},x_{max}\le b$的任意$a,b$有
$$L(a,b)=\frac{1}{(b-a{)}^n}\le \frac{1}{(x_{max}-x_{min}{)}^2}$$
即似然函数在$a=x_{min},b=x_{max}$时取得最大值$\frac{1}{(x_{max}-x_{min}{)}^2}$。
所以$a,b$的最大似然估计值为
$$\begin{array}{r}\hat{a}=x_{min}=\underset{1\le i\le n}{\min }{x}_i\\ \hat{b}=x_{max}=\underset{1\le i\le n}{\max }{x}_i\end{array}$$
$a,b$的最大似然估计量为
$$\begin{array}{r}\hat{a}=\underset{1\le i\le n}{\min }{X}_i\\ \hat{b}=\underset{1\le i\le n}{\max }{X}_i\end{array}$$