06概率论与数理统计笔记——参数估计——基于《概率论与数理统计》许忠好

矩估计

设总体$X$的分布为$F(x,\theta )$，其中$\theta =({\theta }_1,{\theta }_2,...{\theta }_m)$为未知参数
若${\mu }_m=E{X}^m$存在，记${\mu }_k=E{X}^k=g_k(\theta )$,$X_1...X_n$是来自总体的样本，$A_k$表示k阶样本原点矩，即为$A_k=\frac{1}{n}{\sum }_{i=1}^n{X}_i^k$,称方程组$$\{\begin{array}{rlr}{A}_1=g_1(\theta )& & \\ A_2=g_2(\theta )& & \\ .......& & \\ A_m=g_m(\theta )& & \end{array}$$
$\hat{\theta }=(\widehat{{\theta }_1},\widehat{{\theta }_2},...\widehat{{\theta }_m})$是$\theta$的矩估计,${\hat{\theta }}_k$是${\theta }_k$的矩估计

需要注意的是
1）矩估计的前提是总体的矩存在，$\theta$可以是多维的，所需要方程个数取决于$\theta$的维数
2）矩估计可能不唯一

极大似然估计

定义：
设$p(x,\theta )$为总体$X$具有分布律（离散性分布）或概率密度函数（若为连续性分布）$x_1,x_2,...,x_n$是来自总体$X$的样本，称$L(\theta )={\Pi }_{i=1}^{n}p(x_i,\theta )$为似然函数，$L(\theta )$的极大点${\hat{\theta }}_{MLE}$是$\theta$似然估计

常见的极大似然估计

分布	待估函数	$MLE$
$b(n,p)	$p$	$\overline{X}/n$
$P(\lambda )$	$\lambda$	$\overline{(}X)$
$Exp(\lambda )$	$\lambda$	$1/\overline{X}$
$N(\mu ,{\sigma }^2)$	$\mu$	$\overline{X}$
$N(\mu ,{\sigma }^2)$	${\sigma }^2$	$S_n^2$

点估计的评价标准

无偏性

$\hat{\theta }=\hat{\theta }(X_1,...X_n)$是$\theta$的一个总估计，对于任意的$\theta \in \Theta$
有$E\hat{\theta }=\theta$则$\hat{\theta }是\theta$的无偏估计

有效性

$\widehat{{\theta }_1}\widehat{{\theta }_2}$是$\theta$的一个无偏估计，对于任意的$\theta \in \Theta$
$Var\widehat{{\theta }_1}\le Var\widehat{{\theta }_2}$且存在一个\theta使得$Var\widehat{{\theta }_1}<Var\widehat{{\theta }_2}$则前者比后者有效

均方误差原则

$\hat{\theta }$是$\theta$的点估计
称$MSE(\hat{\theta })=E(\theta -\hat{\theta }{)}^2$为$\hat{\theta }$的均方误差

单正态总体未知参数区间估计

1. $\sigma$已知求$\mu$置信区间
   $$[\overline{X}-\frac{\sigma }{\sqrt{n}}{u}_{1-\alpha /2},\overline{X}+\frac{\sigma }{\sqrt{n}}{u}_{1-\alpha /2}]$$

2. $\sigma$未知求$\mu$置信区间
   $$[\overline{X}-\frac{S}{\sqrt{n}}{t}_{1-\alpha /2},\overline{X}+\frac{S}{\sqrt{n}}{t}_{1-\alpha /2}]$$

3. $\mu$已知求$\sigma$置信区间
   $$[\frac{{\sum }_{k=1}^n(X_k-\mu {)}^2}{{\chi }_{1-\alpha /2}^2(n)},\frac{{\sum }_{k=1}^n(X_k-\mu {)}^2}{{\chi }_{\alpha /2}^2(n)}]$$

4. $\mu$未知求$\sigma$置信区间
   $$[\frac{(n-1)S^2}{{\chi }_{1-\alpha /2}^2(n)},\frac{(n-1)S^2}{{\chi }_{\alpha /2}^2(n)}]$$

双正态总体未知参数区间估计

${\mu }_1-{\mu }_2$的置信区间

1.${\sigma }_1和{\sigma }_2$已知
$$\overline{X}-\overline{Y}\sim N({\mu }_1-{\mu }_2,\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n})$$

$$[\overline{X}-\overline{Y}-u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}},\overline{X}-\overline{Y}+u_{1-\alpha /2}\sqrt{\frac{{\sigma }_1^2}{m}+\frac{{\sigma }_2^2}{n}}]$$

2. ${\sigma }_1={\sigma }_2$但未知
$$S_X^2=\frac{1}{m-1}\sum _{i=1}^m(X_i-\overline{X}{)}^2{S}_Y^2=\frac{1}{n-1}\sum _{j=1}^n(Y_j-\overline{Y}{)}^2$$
$$S_W^2=\frac{(m-1)S_X^2+(n-1)S_Y^2}{m+n-2}$$
$$T=\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{S_W\sqrt{\frac{1}{m}+\frac{1}{n}}}\sim t(m+n-2)$$
于是置信区间为
$$[\overline{X}-\overline{Y}-t_{1-\alpha /2}(m+n-2)S_W\sqrt{\frac{1}{m}+\frac{1}{n}},\overline{X}-\overline{Y}+t_{1-\alpha /2}(m+n-2)S_W\sqrt{\frac{1}{m}+\frac{1}{n}}]$$

3. ${\sigma }_1,{\sigma }_2$未知, m=n
$$\overline{Z}=\frac{1}{n}\sum _{i=1}^n{Z}_i=\overline{X}-\overline{Y}{S}_Z^2=\frac{1}{n-1}\sum _{i=1}^n(Z_i-\overline{Z}{)}^2$$
$$\frac{\overline{Z}-({\mu }_1-{\mu }_2)}{S_Z}\sqrt{n}\sim t(n-1)$$
$$[\overline{Z}-t_{1-\alpha /2}(n-1)\frac{S_Z}{\sqrt{n}},\overline{Z}+t_{1-\alpha /2}(n-1)\frac{S_Z}{\sqrt{n}}]$$

4.${\sigma }_1,{\sigma }_2$未知, m,n充分大
$$\frac{\overline{X}-\overline{Y}-({\mu }_1-{\mu }_2)}{\sqrt{\frac{S_X^2}{m}+\frac{S_Y^2}{n}}}$$

$$[\overline{X}-\overline{Y}-u_{1-\alpha /2}\sqrt{\frac{S_X^2}{m}+\frac{S_Y^2}{n}},\overline{X}-\overline{Y}+u_{1-\alpha /2}\sqrt{\frac{S_X^2}{m}+\frac{S_Y^2}{n}}]$$

方差比

$$(m-1)S_X^2/{\sigma }_1^2\sim {\chi }^2(m-1)$$

我们有$$\frac{S_X^2/{\sigma }_1^2}{S_Y^2/{\sigma }_2^2}\sim F(m-1,n-1)$$

$$[\frac{S_X^2/S_Y^2}{F_{1-\alpha /2}(m-1,n-1)},\frac{S_X^2/S_Y^2}{F_{\alpha /2}(m-1,n-1)}]$$