参数估计

$摘自随机过程$
\qquad 参数是母体分布的未知参数，例如正态母体分布的分布$N(\mu ,{\sigma }^2)$中$\mu ,{\sigma }^2$未知，$\mu$和${\sigma }^2$是参数。

估计量的衡量标准

无偏性

\qquad 若参数$\theta$的估计量$\hat{\theta }$满足
$$E\hat{\theta }=\theta$$ \qquad 则称$\hat{\theta }$是$\theta$的无偏估计量。如果$E\hat{\theta }̸=\theta$，那么$E\hat{\theta }-\theta$称为估计量的$\hat{\theta }$的偏差。若
$$\underset{n\to \infty }{\lim }E\hat{\theta }=\theta$$ \qquad 则称$\hat{\theta }$是$\theta$的渐进无偏估计量。

相合估计量

\qquad 估计量$\hat{\theta }$依赖于子样容量$n$，需要考虑$n\to \infty$时$\hat{\theta }$的极限性态，它是否依概率收敛到未知参数$\theta$。若当$n\to \infty$时$\hat{\theta }$依概率收敛到$\theta$，即对于任意$\epsilon >0$，有
lim ⁡ n → ∞ P { ∣ θ ^ − θ ∣ &lt; ε } = 1 \lim_{n\to\infty}P\{|\hat{\theta}-\theta|&lt;\varepsilon\}=1 n→∞lim​P{∣θ^−θ∣<ε}=1则称$\hat{\theta }$是$\theta$的相合估计量或一致估计量。
\qquad 设$\hat{\theta }$是未知参数$\theta$的无偏估计量，对$\theta$的平均平方误差(即方差)为
$$D\hat{\theta }=E(\hat{\theta }-\theta {)}^2$$方差$D\hat{\theta }$越小，估计量$\hat{\theta }$愈好。由罗-克拉美下界讨论估计量方差的下界。

点估计

\qquad 一般来说，设母体$X$的分布函数是$F(x;{\theta }_1,{\theta }_2,...,{\theta }_k)$，其中${\theta }_1,{\theta }_2,...,{\theta }_k$是位置参数。如果从母体中取得的子样值为$x_1,x_2,...,x_n$，作$k$个函数${\hat{\theta }}_i={\hat{\theta }}_i(x_1,x_2,...,x_n),i=1,2,...,k$分别用${\hat{\theta }}_i$估计位置参数${\theta }_i$，则称${\hat{\theta }}_i$是${\theta }_i$的估计值。
\qquad 如果从母体中取得的子样为随机矢量$X_1,X_2,...,X_n$，作${\hat{\theta }}_i={\hat{\theta }}_i(X_1,X_2,...,X_n),i=1,2,...,k$，则称${\hat{\theta }}_i$(随机变量)是${\theta }_i$的估计量。这种用${\hat{\theta }}_i$对参数${\theta }_i$做定值估计，称为参数的点估计。估计值随抽得子样的数值不同而不同，带有随机性。

点估计的求法

\qquad 矩法 母体分布中的位置参数和它的矩是一致的。对母体分布的未知参数做估计，首先对母体的矩做估计，用自然的作法是用子样矩分别估计母体相应的矩。
\qquad 最大似然估计
\qquad 用子样中位数和极差估计正态母体的参数 设正态母体的分布是$N(\mu ,{\sigma }^2)$。子样中位数$me$的渐进分布如下：设$X_1,X_2,...,X_n$是独立同分布随机变量，且每一随机变量服从正态分布$N(\mu ,{\sigma }^2)$。若$me$是$X_1,X_2,...,X_n$的中位数，则对任意的$x$，有
l i m n → ∞ P { 2 n π ( m e − μ ) ≤ x } = 1 2 π ∫ − ∞ x e − t 2 2 d t \mathop{lim}\limits_{n \to \infty}P\{\sqrt{\frac{2n}{\pi}}(me-\mu)\leq x\}=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^{x}e^{-\frac{t^{2}}{2}}dt n→∞lim​P{π2n​ ​(me−μ)≤x}=2π ​1​∫−∞x​e−2t2​dt当$n$很大时，$\sqrt{\frac{2n}{\pi }}(me-\mu )$近似服从标准正态分布，因而$me$服从正态分布$N(\mu ,\frac{\pi }{2n})$。$n$愈大，$me$在$\mu$附近的概率愈大。所以，$n$很大时可取
$$\hat{\mu }=me$$ \qquad 对于正态母体，子样极差$R$的数学期望和方差分别为
$$ER=d_n\sigma ,DR=v_n^2{\sigma }^2$$ \qquad 表明$\frac{1}{d_n}R$的数学期望等于$\sigma$，故可用$\frac{1}{d_n}$估计$\sigma$，即
$$\hat{\sigma }=\frac{1}{d_n}R$$$d_n$查表法可得。

区间估计

\qquad 区间估计则要由子样给出参数值的一个估计范围，因此参数的区间估计就是由子样给出参数的估计范围，并使未知参数在其中具有指定的概率。
\qquad 记母体分布为$N(\mu ,{\sigma }_0^2)$，考察子样$X_1,X_2,...,X_n$，可用子样估计平均$\bar{X}$估计$\mu$，$\bar{X}$服从正态分布$N(\mu ,\frac{{\sigma }_0^2}{n})$，因而
$$U=\frac{\bar{X}-\mu }{\frac{{\sigma }_0}{\sqrt{n}}}$$服从标准正态分布$N(0,1)$，给定概率$1-\alpha (0<\alpha <1)$，存在$u_{\frac{\alpha }{2}}$使
P { ∣ U ∣ &lt; u α 2 } = 1 − α P\{|U|&lt;u_{\frac{\alpha}{2}}\}=1-\alpha P{∣U∣<u2α​​}=1−α改写为
P { X ˉ − u α 2 σ 0 n &lt; μ &lt; X ˉ + u α 2 σ 0 n } = 1 − α P\{\bar{X}-u_{\frac{\alpha}{2}}\frac{\sigma_{0}}{\sqrt{n}}&lt;\mu&lt;\bar{X}+u_{\frac{\alpha}{2}}\frac{\sigma_{0}}{\sqrt{n}}\}=1-\alpha P{Xˉ−u2α​​n ​σ0​​<μ<Xˉ+u2α​​n ​σ0​​}=1−α其中$(\bar{X}-u_{\frac{\alpha }{2}}\frac{{\sigma }_0}{\sqrt{n}}<\mu <\bar{X}+u_{\frac{\alpha }{2}}\frac{{\sigma }_0}{\sqrt{n}})$为$\mu$的置信区间，分别为置信下限和置信上限。$1-\alpha$称为置信概率，通常取$1-\alpha$得数值为95%，或90%，或99%。置信概率表示未知参数落在置信区间的可靠程度。
\qquad 直观上看，抽取一定容量的子样，要估计可靠程度越高，估计得范围越大。当$\alpha$一定时，如果$n$愈大，置信区间愈短，取样愈大，估计愈精准。
\qquad 导出置信区间的方法：先求出位置参数$\mu$的估计量$\bar{X}$，由未知参数$\mu$和估计量$\bar{X}$作出函数$U$，它的分布是已知的，且与未知参数$\mu$无关，然后根据给定的置信概率与函数$U$的分布导出置信区间。给定不同的$\sigma$数值如标准差$S$或子样标准差$S^{\ast }$对应不同的方法。