【概率论基础进阶】参数估计-估计量求法和区间估计

矩估计法

用样本矩估计相应的总体矩，用样本矩的函数估计总体矩相应的函数，然后求出要估计的参数，称这种估计法为矩估计法

步骤

设$X$为连续型随机变量，其概率密度为$f(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)$，或$X$为离散型随机变量，其分布律为 P { X = x } = p ( x ; θ 1 , θ 2 , ⋯   , θ k ) P \left\{X=x\right\}=p(x;\theta_{1},\theta_{2},\cdots,\theta_{k}) P{X=x}=p(x;θ1​,θ2​,⋯,θk​)，其中${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$为待估计参数，$X_1,X_2,\cdots ,X_n$是来自$X$的样本。假设总体$X$的前$k$阶矩
$$\begin{array}{rl}{\mu }_l=E(X^l)& ={\int }_{-\infty }^{+\infty }{x}^{l}f(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)dx(X连续型)\\ {\mu }_l=E(X^l)& =\sum _{x\in R_X}{x}^{l}p(x;{\theta }_1,{\theta }_2,\cdots ,{\theta }_k)(X离散型)\end{array}$$
（其中$R_X$是$X$可能取值的范围）存在。一般来说，它们是${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$的函数。基于样本矩
$$A_l=\frac{1}{n}\sum _{i=1}^n{X}_i^l$$
依概率收敛于相应的总体距${\mu }_l(l=1,2,\cdots ,k)$，样本矩的连续函数依概率收敛于相应的总体矩的连续函数，我们就用样本矩作为相应的总体矩的估计量，而以样本矩的连续函数作为相应的总体矩的连续函数的估计量。这种估计方法称为矩估计法。矩估计法的具体做法如下：设
$$\{\begin{array}{rl}& {\mu }_1={\mu }_1({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\\ & {\mu }_2={\mu }_2({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\\ & ⋮\\ & {\mu }_k={\mu }_k({\theta }_1,{\theta }_2,\cdots ,{\theta }_k)\end{array}$$
这是一个包含$k$个未知参数${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$的联立方程组。一般来说，可以从中解出${\theta }_1,{\theta }_2,\cdots ,{\theta }_k$，得到
$$\{\begin{array}{rl}& {\theta }_1={\theta }_1({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)\\ & {\theta }_2={\theta }_2({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)\\ ⋮& \\ & {\theta }_k={\theta }_k({\mu }_1,{\mu }_2,\cdots ,{\mu }_k)\end{array}$$
以$A_i$分别代替上式中的${\mu }_i,i=1,2,\cdots ,k$，就以
$$\widehat{{\theta }_i}={\theta }_i(A_1,A_2,\cdots ,A_k),i=1,2,\cdots ,k$$
分别作为${\theta }_i,i=1,2,\cdots ,k$的估计量，这种估计量称为矩估计量。矩估计量的观察值称为矩估计值

例1：设总体$X$在$[a,b]$上服从均匀分布，$a,b$未知，$X_1,X_2,\cdots ,X_n$是来自$X$的样本，试求$a,b$的矩估计量

$$\begin{array}{rl}{\mu }_1& =E(X)=\frac{a+b}{2}\\ {\mu }_2& =E(X^2)=D(X)+[E(X){]}^2=\frac{(b-a{)}^2}{12}+\frac{(a+b{)}^2}{4}\\ & \Rightarrow \{\begin{array}{rl}& a+b=2{\mu }_1\\ & b-a=\sqrt{12({\mu }_2-{\mu }_1^2)}\end{array}\\ & \Rightarrow \{\begin{array}{rl}& a={\mu }_1-\sqrt{3({\mu }_2-{\mu }_1^2)}\\ & b={\mu }_1+\sqrt{3({\mu }_2-{\mu }_1^2)}\end{array}\end{array}$$
注意到$\begin{array}{r}\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}$，分别以$A_1,A_2$代替${\mu }_1,{\mu }_2$，得到$a,b$的矩估计量分别为
$$\begin{array}{rl}\hat{a}& =A_1-\sqrt{3(A_2-A_1^2)}=\bar{X}-\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2}\\ \hat{b}& =A_1+\sqrt{3(A_2-A_1^2)}=\bar{X}+\sqrt{\frac{3}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2}\end{array}$$

例2：设总体$X$的均值$\mu$及方差${\sigma }^2$都存在，且有${\sigma }^2>0$。但$\mu ,{\sigma }^2$均为未知，又设$X_1,X_2,\cdots ,X_n$是来自$X$得样本。试求$\mu ,{\sigma }^2$的矩估计量

$$\begin{array}{rl}{\mu }_1& =E(X)=\mu \\ {\mu }_2& =E(X^2)=D(X)+[E(X){]}^2={\sigma }^2+\mu \\ & \Rightarrow \{\begin{array}{rl}& \mu ={\mu }_1\\ & {\sigma }^2={\mu }_2-{\mu }_1^2\end{array}\end{array}$$
分别以$A_1,A_2$代替${\mu }_1,{\mu }_2$，得$\mu$和${\sigma }^2$的矩估计量分别为
$$\begin{array}{rl}\hat{\mu }& =A_1=\bar{X}\\ \widehat{{\sigma }^2}& =A_2-A_1^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}$$

所得结果表名，总体均值与方差的矩估计量的表达式不因不同的总体分布而异

最大似然估计

若总体$X$属离散型，其分布律 P { X = x } = p { x ; θ } , θ ∈ Θ P \left\{X=x\right\}=p \left\{x;\theta\right\},\theta \in \Theta P{X=x}=p{x;θ},θ∈Θ的形式已知，$\theta$为待估参数，$\Theta$是$\theta$可能取值的范围。设$X_1,X_2,\cdots ,X_n$是来自$X$的样本，则$X_1,X_2,\cdots ,X_n$的联合分布律为
$$\prod _{i=1}^{n}p(x_i;\theta )$$
又设$x_1,x_2,\cdots ,x_n$是相应于样本$X_1,X_2,\cdots ,X_n$的一个样本值。易知样本$X_1,X_2,\cdots ,X_n$取到观察值$x_1,x_2,\cdots ,x_n$的概率，亦即事件 { X 1 = x 1 , X 2 = x 2 , ⋯   , X n , x n } \left\{X_{1}=x_{1},X_{2}=x_{2},\cdots ,X_{n},x_{n}\right\} {X1​=x1​,X2​=x2​,⋯,Xn​,xn​}发生的概率为
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}p(x_i;\theta ),\theta \in \Theta$$
这一概率随$\theta$的取值而变化，它是$\theta$的函数，$L(\theta )$称为样本的似然函数（注意，这里$x_1,x_2,\cdots ,x_n$是已知的样本值，它们都是常数
在$\theta$取值的可能范围$\Theta$内挑选使似然函数$L(x_1,x_2,\cdots ,x_n;\theta )$达到最大的参数值$\hat{\theta }$，作为参数$\theta$的估计值。即使$\hat{\theta }$使
$$L(x_1,x_2,\cdots ,x_n;\hat{\theta })=\underset{\theta \in \Theta }{\max }L(x_1,x_2,\cdots ,x_n;\theta )$$
这样得到的$\hat{\theta }$与样本值$x_1,x_2,\cdots ,x_n$有关，常记为$\hat{\theta }(x_1,x_2,\cdots ,x_n)$，称为参数$\theta$的最大似然估计值，而相应的统计量$\hat{\theta }(X_1,X_2,\cdots ,X_n)$称为参数$\theta$的最大似然估计量

若总体$X$属连续型，其概率密度$f(x;\theta ),\theta \in \Theta$的形式已知，$\theta$为待估参数，$\Theta$是$\theta$可能取值的范围，设$X_1,X_2,\cdots ,X_n$是来自$X$得样本，则$X_1,X_2,\cdots ,X_n$的联合密度为
$$\prod _{i=1}^{n}f(x_i,\theta )$$
设$x_1,x_2,\cdots ,x_n$是相应于样本$X_1,X_2,\cdots ,X_n$的一个样本值，则随机点$(X_1,X_2,\cdots ,X_n)$落在点$(x_1,x_2,\cdots ,x_n)$的邻域（边长分别为$d{x}_1,d{x}_2,\cdots ,d{x}_n$的$n$维立方体）内的概率近似地为
$$\prod _{i=1}^{n}f(x_i;\theta )dx$$
其值随$\theta$的取值而变化，与离散型的情况一样，我们取$\theta$的估计量$\hat{\theta }$使概率取到最大值，但因子$\prod _{i=1}^{n}d{x}_i$不随$\theta$而变，故只需考虑函数
$$L(\theta )=L(x_1,x_2,\cdots ,x_n;\theta )=\prod _{i=1}^{n}f(x_i;\theta )$$
的最大值，这里$L(\theta )$称为样本的似然函数，若
$$L(x_1,x_2,\cdots ,x_n;\theta )=\underset{\theta \in \Theta }{\max }L(x_1,x_2,\cdots ,x_n;\theta )$$
则称$\hat{\theta }(x_1,x_2,\cdots ,x_n)$为$\theta$的最大似然估计值，称$\hat{\theta }(X_1,X_2,\cdots ,X_n)$为$\theta$的最大似然估计量

这样，确定最大似然估计量的问题就归结为微分学中秋最大值的问题了，
在很多情形下，$p(x;\theta )$和$f(x;\theta )$关于$\theta$可微，这时$\hat{\theta }$常可从方程
$$\frac{d}{d\theta }L(\theta )=0$$
解得。又因$L(\theta )$与$L(\ln \theta )$在同一$\theta$处取到极值，因此，$\theta$的最大似然估计$\theta$也可以从方程
$$\frac{d}{d\theta }\ln L(\theta )=0$$
求得，称为对数似然方程

例3：设$X\sim N(\mu ,{\sigma }^2)$，其中$\mu ,{\sigma }^2(\sigma >0)$均为未知参数，从总体取得样本为$X_1,X_2,\cdots ,X_n$，试求

• $\mu$和${\sigma }^2$的矩估计

$$\begin{array}{rl}E(X)& =\mu \\ E(X^2)& =D(X)+[E(X){]}^2={\sigma }^2+{\mu }^2\\ & \Rightarrow \{\begin{array}{rl}& \mu =\bar{X}\\ & {\sigma }^2+{\mu }^2=\frac{1}{n}\sum _{i=1}^n{X}_i^2\end{array}\\ & \Rightarrow \{\begin{array}{rl}& \hat{\mu }=\bar{X}\\ & \hat{\sigma }=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}\end{array}$$

二阶矩可以用中心矩直接得到$\begin{array}{r}\hat{\sigma }=\frac{1}{n}\sum _{i=1}^n{X}_i^2-{\bar{X}}^2=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}$

• $\mu$和${\sigma }^2$的最大似然估计

由于$X$的密度为$\begin{array}{r}\frac{1}{\sqrt{2\pi }\sigma }{e}^{-\frac{(x-\mu {)}^2}{2{\sigma }^2}},-\infty <x<+\infty \end{array}$，所以
$$\begin{array}{rl}L(\mu ,{\sigma }^2)& ={\left(\frac{1}{\sqrt{2\pi }\sigma }\right)}^n{e}^{-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2}\\ \ln L(\mu ,{\sigma }^2)& =-\frac{n}{2}\ln (2\pi )-\frac{n}{2}\ln ({\sigma }^2)-\frac{1}{2{\sigma }^2}\sum _{i=1}^n(X_i-\mu {)}^2\\ & \Rightarrow \{\begin{array}{rl}& \frac{\partial \ln L}{\partial \mu }=\frac{1}{{\sigma }^2}\sum _{i=1}^n(X_i-\mu )=0\\ & \frac{\partial \ln L}{\partial {\sigma }^2}=-\frac{n}{2}\frac{1}{{\sigma }^2}+\frac{1}{2({\sigma }^2{)}^2}\sum _{i=1}^n(X_i-\mu {)}^2=0\end{array}\\ & \Rightarrow \{\begin{array}{rl}& \hat{\mu }-\bar{X}\\ & \widehat{{\sigma }^2}=\frac{1}{n}\sum _{i=1}^n(X_i-\bar{X}{)}^2\end{array}\end{array}$$

例4：设总体$X\sim U[-\theta ,\theta ],X_1,X_2,\cdots ,X_n$是来自总体$X$的简单随机样本，试求参数$\theta$的最大似然估计

似然函数为
$$L(\theta )=\prod _{i=1}^{n}f(x_i)=\{\begin{array}{rlr}& \frac{1}{(2\theta {)}^n}& -\theta \le x_1,x_2,\cdots ,x_n\le \theta \\ & 0& 其他\end{array}$$

这里求导只能得到最小值

显然，$\theta$越小，$\begin{array}{r}\frac{1}{(2\theta {)}^n}\end{array}$越大，但$\theta$必须满足$-\theta \le x_1,x_2,\cdots ,x_n\le \theta$，也就是必有
$$\begin{array}{rl}& \{\begin{array}{rl}& \theta \ge \max (x_1,x_2,\cdots ,x_n)\\ & -\theta \le \min (x_1,x_2,\cdots ,x_n)\end{array}\\ & \Rightarrow \theta \ge \max (|x_1|,|x_2|,\cdots ,|x_n|)\end{array}$$
即有$\theta$的最大似然估计$\hat{\theta }=\max (|X_1|,|X_2|,\cdots ,|X_n|)$

CSDN话题挑战赛第2期
参赛话题：学习笔记