参数估计

点估计

矩估计法

$\qquad$设总体分布函数为$F(x ;\theta_1,\theta_2,\cdots,\theta_m)$，则它的矩：

$$a_k=E(X^k)=\int_{-\infty}^{+\infty}x^kdF(x;\theta_1,\theta_2,\cdots,\theta_m),k=1,2,\cdots$$
$\qquad$依赖于 $\theta_1,\theta_2,\cdots,\theta_m$。另外，由大数定律知，至少在样本容量n较大时， $a_k$ 应接近于样本原点矩 $A_k$。于是有：
$$a_k=a_k(\theta_1,\theta_2,\cdots,\theta_m)\thickapprox A_k=\frac{1}{n}\sum_{i=1}^{n}X_i^k,$$
$\qquad$取 $k=1,\cdots,m$，并让上面的近似式改成等式，就得到方程组：
$$a_k(\theta_1,\theta_2,\cdots,\theta_m)= A_k，k=1,\cdots,m$$
$\qquad$解此方程组，得其根 $\hat{\theta}_i=\hat{\theta}_i(X_1,\cdots,X_m),i=1,2,\cdots,m$。就以 $\hat{\theta}_i$作为点 $\theta_i$的点估计。

极大似然估计法

$\qquad$定义：设总体$X$的概率函数为$f(x ;\theta_1,\theta_2,\cdots,\theta_m)$，而其样本$(X_1,\cdots,X_m)$的联合概率密度函数$\prod_{i=1}^{n}f(x_i;\theta_1,\theta_2,\cdots,\theta_m)$，则对样本的一个观察值$(x_1,\cdots,x_n)$，称$\prod_{i=1}^{n}f(x_i;\theta_1,\theta_2,\cdots,\theta_m)$为参数$(\theta_1,\cdots,\theta_m)$的似然函数，记为$L(x_1,\cdots,x_n;\theta_1,\cdots,\theta_m)$，简记为$L$，即：

$$L=L(x_1,\cdots,x_n;\theta_1,\cdots,\theta_m)=\prod_{i=1}^{n}f(x_i;\theta_1,\theta_2,\cdots,\theta_m)$$
$\qquad$若当$(\theta_1,\cdots,\theta_m)=(\hat{\theta}_1,\cdots,\hat{\theta}_m)$时，使得：

$$L(x_1,\cdots,x_n;\hat{\theta}_1,\cdots,\hat{\theta}_m)=\max \limits_{\theta_1,\cdots,\theta_m}L(x_1,\cdots,x_n;\theta_1,\cdots,\theta_m)$$
$\qquad$则称 $(\hat{\theta}_1,\cdots,\hat{\theta}_m)$为 $(\theta_1,\cdots,\theta_m)$的极大似然估计。由于 $\hat{\theta}_i$与样本观察值 $(x_1,\cdots,x_n)$有关，故称 $\hat{\theta}_i=\hat{\theta}_i(x_1,\cdots,x_n)$为 $\theta_i$的极大似然估计值，而称 $\hat{\theta}_i=\hat{\theta}_i(X_1,\cdots,X_n)$为 $\theta_i$的极大似然估计量 $(i=1,\cdots,n)$。

估计量的评选标准

$\qquad$未知参数$\theta$与它的估计量$\hat{\theta}$的接近程度有均方误差$E(\hat{\theta}-\theta)^2$来衡量：

$$E(\hat{\theta}-\theta)^2=E[\hat{\theta}-E(\hat{\theta})+E(\hat{\theta})-\theta]^2=D\hat{\theta}+[E(\hat{\theta})-\theta]^2$$
$\qquad$所以均方差可以分为两个部分，即估计量的 方差 $D\hat{\theta}$和 偏差 $[E(\hat{\theta})-\theta]^2$之和。

无偏估计

$\qquad$定义：设$\hat{\theta}(X_1,\cdots,X_n)$为未知参数$\theta$的估计量，若：

$$E(\hat{\theta})=\theta$$
$\qquad$则称 $\hat{\theta}=\hat{\theta}(X_1,\cdots,X_n)$是 $\theta$的 无偏估计量。

$\qquad$若$\hat{\theta}_n=\hat{\theta}_n(X_1,\cdots,X_n),(n=1,2,\cdots)$为未知参数$\theta$的一列估计量，若：

$$\lim\limits_{n\xrightarrow{}\infty} E(\hat{\theta}_n)=\theta$$
$\qquad$则称 $\hat{\theta}_n(X_1,\cdots,X_n)$是 $\theta$的 渐近无偏估计量。

有效估计

$\qquad$定义：设$\hat{\theta}_1=\hat{\theta}_1(X_1,\cdots,X_n)$与$\hat{\theta}_2=\hat{\theta}_2(X_1,\cdots,X_n)$都是未知参数$\theta$的无偏估计量，若：

$$D(\hat{\theta}_1)<D(\hat{\theta}_2)$$
$\qquad$则称 $\hat{\theta}_1$较 $\hat{\theta}_2$有效。
$\qquad$设 $\hat{\theta}_1$是 $\theta$的一个无偏估计量，若对 $\theta$的任意无偏估计量 $\hat{\theta}_2$都有：
$$D(\hat{\theta}_1)\leqslant D(\hat{\theta}_2)$$
$\qquad$则称 $\hat{\theta}_1$是 $\theta$的最小方差无偏估计量。
$\qquad$ 罗——克拉美（Rao-Cramer）不等式：
$$D(\hat{\theta})\geqslant\frac{1}{nE\{[\frac{\partial}{\partial\theta}\ln f(X;\theta)]^2\}}=\frac{1}{nI(\theta)}$$
$\qquad$上述不等式的右端便是方差的下界。若 $\theta$的无偏估计量 $\hat{\theta}$的方差 $D(\hat{\theta})$正好等于它的下界 $1/[nI(\theta)]$，则称 $\hat{\theta}$为 $\theta$的 有效估计量（最有效估计量）。
$\qquad$若 $\theta$的无偏估计量 $\hat{\theta}$满足：
$$\lim_{n\xrightarrow{}\infty}\frac{1}{nI(\theta)}/D(\hat{\theta})=1$$
$\qquad$则称 $\hat{\theta}$为 $\theta$的 渐近有效估计量

相合估计

$\qquad$定义：设$\hat{\theta}_n=\hat{\theta}_n(X_1,\cdots,X_n)$为总体$X$的未知参数$\theta$的一列估计量，如果$\{\hat{\theta}_n\}$依概率收敛于$\theta$，即对任意$\varepsilon>0$，有：

$$\lim_{n\xrightarrow{}\infty}P\{|\hat{\theta}_n-\theta|\geqslant\varepsilon\}=0$$
$\qquad$则称 $\hat{\theta}_n$为 $\theta$的 相合估计量（或 一致性估计量）

区间估计

$\qquad$定义：设样本$X_1,\cdots,X_n$来自未知参数为$\theta$的某总体，若事先给定的$\alpha:0<\alpha<1$，存在两个统计量$\underline{\theta}=\underline{\theta}(X_1,\cdots,X_n)$和$\overline{\theta}=\overline{\theta}(X_1,\cdots,X_n)$，使等式：

$$P\{\underline{\theta}(X_1,\cdots,X_n)<\theta<\overline{\theta}(X_1,\cdots,X_n)\}=1-\alpha$$
$\qquad$成立，则称 $1-\alpha$为 置信度，区间 $(\underline{\theta},\overline{\theta})$为参数 $\theta$的置信度为 $1-\alpha$的 置信区间，且 $\underline{\theta}$和 $\overline{\theta}$分别称为 置信下限和 置信上限。利用置信区间的形式作为未知参数的估计，称为 区间估计。

单正态总体参数的置信区间
待估参数	条件	统计量	分布	置信区间
$\mu$	$\sigma^2$已知	$\frac{\overline{X}-\mu}{\sigma/\sqrt{n}}$	$N(0,1)$	$(\overline{X}\pm z_{\alpha/2}\frac{\sigma}{\sqrt{n}})$
	$\sigma^2$未知	$\frac{\overline{X}-\mu}{s/\sqrt{n}}$	$t(n-1)$	$(\overline{X}\pm t_{\alpha/2}(n-1)\frac{s}{\sqrt{n}})$
$\sigma^2$	$\mu$已知	$\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\sigma^2}$	$\chi^2(n)$	$(\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\chi_{\alpha/2}^2(n)},\frac{\sum_{i=1}^{n}(X_i-\mu)^2}{\chi_{1-\alpha/2}^2(n)})$
	$\mu$未知	$\frac{\sum_{i=1}^{n}(X_i-\overline{X})^2}{\sigma^2}$	$\chi^2(n-1)$	$(\frac{\sum_{i=1}^{n}(X_i-\overline{X})^2}{\chi_{\alpha/2}^2(n-1)},\frac{\sum_{i=1}^{n}(X_i-\overline{X})^2}{\chi_{1-\alpha/2}^2(n-1)})$