统计-参数估计

参数估计

在数理统计中，我们见到的总体X一般都是未知的。

即便根据以往的经验和数据，知道X服从哪类分布，，其数字特征（数学期望，方差，矩）也是未知的。

这些未知的数字特征以及含在总体X中的未知数称为$\color{red}{未知参数}$简称参数

为了估计未知参数的真值或其所在区间，就要从总体X中抽取样本，然后用样本构造某种统计量，来估计未知参数或其范围。

这种方法叫$\color{red}{参数估计}$

参数估计有很多方法

主要又$\color{red}{点估计}$和$\color{red}{点区间估计}$两大类

点估计

点估计就是根据样本构造一个统计量（称为估计量）来估计总体的真实参数值（参数真值）。

如，第五章的独立同分布大数定律，样本均值将依概率收敛到总体X的数学期望

$\overline{X} \xrightarrow{P} \mu$

当样本较大时，就可以用样本均值来作为总体的数学期望$\mu$的估计

从一批灯泡中随机获取10个进行寿命试验。用样本均值来估计这批灯泡寿命

得到这批灯泡平均寿命$\overline{x}={1\over 10 }\sum\limits_{i=1}^{10}x_i$

以上用一个数（点）来估计某个未知参数的方法叫点估计法。

定义

设总体X的分布函数F(x; $\theta$)的形式已知，$\theta$是未知参数。从总体X中抽取样本$X_1,X_2,…,X_n$构造某个统计量

$\hat{\theta}(X_1,X_2,…,X_n)$

作为对未知参数$\theta$的估计，称为$\theta$的点估计量。

估计量和估计值统称为估计。

显然，对于不同样本值$x_1,x_2,…,x_n$，得到的点估计值一般是不同的。

矩估计法

矩估计法思想

据估计法的想法是用样本的各阶矩去近似代替总体的各阶矩。

矩估计法的理论依据是大数定理。

独立同分布大数定理告诉我们：

样本均值依概率收敛与总体均值(数学期望)

$\overline{X} \xrightarrow{P} \mu$

同理，$X_1^k,X_2^k,…,X_n^k$相互独立，且与$X^k$同分布有

$E(X_1^k)=E(X_2^k)=…=E(X_n^k)=E(X^k)=\mu_k$

再利用大树定理的

$A_k= {1\over n}\sum\limits_{i=1}^{n}X_i^k\xrightarrow{P} \mu_k=E(X^k)$

样本k阶矩依概率收敛于总体k阶矩。

矩估计法就是用已知样本矩代替未知的总体矩。

矩估计法过程

设X为连续性随机变量，其概率密度为

f(x;$\theta_1,…\theta_n$)

或者X为离散型随机变量，其分布律为

P{X=x}=p(x;$\theta_1,…\theta_n$)

其中$\theta_1,…\theta_n$为待估参数，$X_1,X_2,…,X_n$是来自总体的样本。

(1)计算总体X的1~k阶矩：

$\mu_k=E(X^k)=\int_{-\infty}^{+\infty}x^kf(x;\theta_1,…\theta_n)dx$连续性

$\mu_k=E(X^k)=\sum\limits_{x\in R_X}x^kp(x;\theta_1,…\theta_n)$离散型

得方程组

$$\left\{ \begin{aligned} & \mu_1=\varphi_1(\theta_1,…\theta_n) \\ &\mu_2=\varphi_2(\theta_1,…\theta_n) \\ &...... \\ &\mu_k=\varphi_k(\theta_1,…\theta_n) \end{aligned} \right.$$
(2) 从方程组中解出未知参数
$$\left\{ \begin{aligned} &\theta_1=\psi_1(\mu_1,…\mu_n) \\ &\theta_2=\psi_2(\mu_1,…\mu_n) \\ &...... \\ &\theta_k=\psi_k(\mu_1,…\mu_n) \end{aligned} \right.$$
(3)根据大数定理 $A_k= {1\over n}\sum\limits_{i=1}^{n}X_i^k\xrightarrow{P} \mu_k=E(X^k)$用样本矩 $A_l$分布代替总体矩 $\mu_l$，得待估参数的矩估计量
$$\left\{ \begin{aligned} &\hat{\theta_1}=\psi_1(A_1,…A_n) \\ &\hat{\theta_2}=\psi_2(A_1,…A_n) \\ &...... \\ &\hat{\theta_k}=\psi_k(A_1,…A_n) \end{aligned} \right.$$

有一个未知参数过程

如果只有一个未知参数$\theta$，只需求出总体X的一阶矩，即数学期望$\mu=E(X)$,得$\mu=h(\theta)$，然后解出$\theta=h^{-1}(\mu)$，最后用样本一阶矩(样本均值)

$A_1=\overline{X}={1\over n}\sum\limits_{i=1}^{n}X_i$代替$\mu$，得$\theta$的据估计量$\hat{\theta}=h^{-1}{\overline{X}}$

或

(1)计算：$E(X)=h(\theta)$

(2)替换：$E(X)\rightarrow \overline{X}$,$\theta \rightarrow \hat{\theta}$得$\overline{X}=h(\hat{\theta})$

(3)解出：$\hat{\theta}=h^{-1}{\overline{X}}$

##### 例子

已知总体X有概率密度

$$f(x;\theta)=\left\{ \begin{aligned} &{{6x(\theta-x)}\over{\theta^3}},0<x,\theta \\ &0,其他 \end{aligned} \right.$$
其中 $\theta$为未知参数。 $X_1,X_2,…,X_n$是来自总体X的样本。

(1)求$\theta$的矩估计量$\hat{\theta}$

只有一个未知参数，先求总体X的一阶矩

$\mu_1=E(X)=\int_{-\infty}^{+\infty}x^kf(x;\theta)dx= \int_0^\theta x {{6x(\theta-x)}\over{\theta^3}}dx={6\over{\theta^3}}\int_0^\theta(\theta x^2-x^3)dx={6\over{\theta^3}}({\theta^4\over3}-{\theta^4\over4})={\theta\over2}$

解出待估参数：$\theta=2\mu_1$

用样本一阶矩$A_1$代替$\mu_1$

的$\theta$的据估计量$\hat{\theta}=2A_1=2\overline{X}={2\over n}\sum\limits_{i=1}^n X_i$

(2)求$\hat{\theta}$的方差D($\hat{\theta}$)

用到公式$D(\overline{X})={\sigma^2\over n}={{D(X)}\over n}$ D(X)=E($X^2$)-$[E(X)]^2$

E($X^2$)=${{6\theta^2}\over {20}}$

$D(\hat{\theta})=D(2\overline{X})=2^2D(\overline{X})=4{D(X)\over n}={4\over n}[{{6\theta^2}\over {20}}-({\theta^2 \over2})^2]={\theta^2\over{5n}}$

(3)若3.5，4.4，5.3，4.6，4.8，3.7，5.8，3.9为一组样本观测值，求$\theta$的矩估计

$\hat{\theta}={2\over 8}\sum\limits_{i=1}^8 X_i={1\over 4}(3.5+4.4+..+3.9)=9$

概率密度为

$$f(x;)=\left\{ \begin{aligned} &{{6x(9-x)}\over{9^3}},0<x,9 \\ &0,其他 \end{aligned} \right.$$

两个 未知参数过程

如果有两个未知参数$\mu$和$\lambda$，则需要求出总体X的一阶矩$\mu_1=E(X)$和二阶矩$\mu_2=E(X^2)=D(X)+[E(X)]^2$得$\mu_1=h(\theta,\lambda),\mu2=g(\theta,\lambda)$

然后解出$\theta=\phi(\mu_1,mu_2),\lambda=\psi(\mu_1.\mu_2)$

最后用样本一阶矩A1和样本二阶矩A2代替$\mu_1,\mu_2$得$\theta,\lambda$的据估计量

$\hat{\theta}=\varphi(A_1,A_2)$

$\hat{\mu}=\psi(A_1,A_2)$

$A_1=\overline{X}={1\over n}\sum\limits_{i=1}^nX_i$

$A_2=\overline{X}={1\over n}\sum\limits_{i=1}^nX_i^2$

例子

设总体X的均值$\mu$且方差$\sigma^2$>0都存在，但它们均未知。设$X_1,X_2,…,X_n$是来自总体X的样本，试求$\mu$和$\sigma^2$的据估计量。

总体X的一阶二阶矩为

$\mu_1$=E(X)=$\mu$

$\mu_2=E(X^2)=D(X)+[E(X)^2]=\sigma^2+\mu^2$

的$\mu=\mu_1,\sigma^2=\mu_2-\mu_1^2$

用样本一阶矩A1和样本二阶矩A2分别代替总体一阶矩$\mu_1$和总体二阶矩$\mu_2$

得到$\mu$和$\sigma^2$的据估计量

$\hat{\mu}=A_1=\overline{X}={1\over n}\sum\limits_{i=1}^nX_i$

$\hat{\sigma}^2=A_2-A_1^2={1\over n}\sum\limits_{i=1}^nX_i^2-\overline{X}^2={1\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2$

定理

不论总体X服从什么分布，只要E(X)=$\mu$和D(X)=$\sigma^2$>0存在但未知。设$X_1,X_2,…,X_n$是来自总体X的样本，则$\mu$和$\sigma^2$的据估计量为

$\hat{\mu}=\overline{X}={1\over n}\sum\limits_{i=1}^nX_i$

$\hat{\sigma}^2=B_2={1\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2$

因此，我们常用样本均值和样本二阶中心矩在近似估计总体均值和总体方差。

$\mu=E(X)≈{1\over n}\sum\limits_{i=1}^nX_i$

$\sigma^2≈{1\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2$

例子

设使用仪器对一批零件的尺子进行12次独立测量，测试数据如下

120.50 120.52 120.15 120.41 120.31 121.02 120.14 121.21 120.87 121.01 120.10 120.42

使用矩估计法估计总体的均值和方差。

$\hat{\mu}=\overline{X}={1\over 12}\sum\limits_{i=1}^12X_i=120.5575$

$\hat{\sigma}^2=B_2={1\over 12}\sum\limits_{i=1}^12(X_i-\overline{X})^2={1\over 12}\sum\limits_{i=1}^12X_i^2-\overline{X}^2=0.1329$

另一种计算方法

(1)计算：$E(X)=h(\theta,\lambda),D(XZ)=g(\theta,\lambda)$

(2)替换：$E(X)\rightarrow \overline{X},D(X)\rightarrow B_2$

​ $\theta \rightarrow \hat{\theta}，\lambda \rightarrow \hat{\lambda}$

​ 得$\overline{X}=h(\hat{\theta},\hat{\lambda}) B_2=g(\hat{\theta},\hat{\lambda})$

(3)解出：$\hat{\theta}=\varphi(\overline{X},B_2) \hat{\lambda}=\psi(\overline{X},B_2)$

均匀分布的参数估计

设总体X在区间[a,b]上服从均匀分布，a，b为未知参数。$X_1,X_2,…,X_n$是来自总体X的样本，试求a,b的据估计量。

解 X~U(a,b) E(X)=1/2(a+b),D(X)=$1/12(b-a)^2$

先求总体X的一阶矩和二阶矩

$\mu_1$=E(X)=${1\over 2}(a+b)$

$\mu_2=E(X^2)=D(X)+[E(X)^2]={1\over12}(b-a)^2+({{a+b}\over 2})^2$

解出待估参数a，b

$a+b=2\mu_1$

${1\over12}(b-a)^2=\mu_2-\mu_1$

a=$\mu_1-\sqrt{3(\mu_2-\mu_1^2)}$

b=$2\mu_1-a=\mu_1+\sqrt{3(\mu_2-\mu_1^2)}$

用A1和A2分布替代总体一阶矩和二阶矩

$\hat{a}=A_1-\sqrt{3(A_2-A_1^2)}$

$\hat{b}=A_1+\sqrt{3(A_2-A_1^2)}$

$A_1={1\over n}\sum\limits_{i=1}^nX_i$

$A_2={1\over n}\sum\limits_{i=1}^nX_i^2$

$A_2-A_1^2={1\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2=B_2$

得a,b的据估计量

$\hat{a}=\overline{X}-\sqrt{{3\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2}$

$\hat{b}=\overline{X}+\sqrt{{3\over n}\sum\limits_{i=1}^n(X_i-\overline{X})^2}$

若有容量为10的样本可以带入公式得到结果

若有100个样本，则分别根接近最小值和最大值。

二项分布的参数估计

设总体X服从参数N,p的二项分布

X~b(N,p)N与p未知，$X_1,X_2,…,X_n$是来自总体X的样本，试求N，p的矩估计量。

X~b(N,p)=>E(X)=Np,D(X)=Np(1-p)

用A1B2分别代替E(X)和D(X)得

$\hat{N}\hat{p}=A_1 \hat{N}\hat{p}(1-\hat{p})=B_2$

$A_1(1-\hat{p})=B_2$

$1-\hat{p}={B_2\over A_1}$

$\hat{p}=1-{B_2\over A_1}=1-{B_2\over \overline{X}}$

$\hat{N}={A_1\over \hat{p}}={A_1\over{1-{B_2\over A_1}}}={A_1^2\over{A_1-B_2}}={{\overline{X}}^2\over{\overline{X}-B_2}}$

最大似然估计法 MLE

最大似然原理

假设一个随机试验E有若干可能的结果$A_1,A_2,…$。如果只进行了一次试验，而结果Ak出现了，那么我们就有理由认为试验的条件对结果Ak的出现最有利，即试验E出现的结果Ak的概率最大。

如果有白球和黑球，并且已知两种颜色的球的比例为8：2，但不知道哪个球多。

如果有放回的从袋中取两次球，每次取一个，结果两次都取到黑球，那么我们有理由认为黑球占80%。

因为若黑球80%，则两次都取到黑球概率为$0.8^2=0.64$

如果黑球只占20%，则两次都取到黑球的概率为$0.2^2=0.04$

因此，两次都取到黑球对我们判断黑球占80%有利。

最大似然法的基本思想就是：

对于已经出现的样本值$x_1,x_2,…,x_n$，适当的选取参数$\theta$，使试验得出结果$X_1=x_1,X_2=x_2,…,X_n=x_n$的概率最大。

最大似然估计法的模型

离散型

设总体X为离散型随机变量，其分布律为

P{X=x}=p(x;$\theta$)

其中$\theta$是未知参数，$X_1,X_2,…,X_n$为来自总体X的样本，$x_1,x_2,…,x_n$为其一组样本值。记

$L(\theta)=p\{X_1=x_1,X_2=x_2,…,X_n=x_n\}$独立性

​ $=P\{X_1=x_1\}\{X_2=x_2\}…P\{X_n=x_n\}$

​ $=\prod\limits_{i=1}^nP\{X_i=x_i\}=\prod\limits_{i=1}^np(x_i;\theta)$

$L(\theta)$称为样本$x_1,x_2,…,x_n$的似然函数Likelihood function 因为样本已知常数，所以是一元函数。

由于$L(\theta)$事件$X_1=x_1,X_2=x_2,…,X_n=x_n$的概率，由最大似然估计法的思想，我们希望求这样的$\hat{\theta}$使得$L(\hat{\theta})$达到$L(\theta)$的最大值，即

$L(\hat{\theta})=\max\limits_{\theta \in\Theta}L(\theta)$ 其中$\Theta是\theta$的取值范围。

连续性

如果X为连续型随机变量，其概率密度为

$f(x;\theta)(\theta \in\Theta)$

则样本$x_1,x_2,…,x_n$所对应的似然函数为：

$L(\theta)=\prod\limits_{i=1}^nf(x_i;\theta)$

如何求似然函数的最大值点$\hat{\theta}$？

在很多情况下，函数p(x;$\theta$)或f(x;$\theta$)是可导函数，此时我们可以用微积分求$L(\theta)$的最大值点$\hat{\theta}$。求似然函数的驻点(导数为0的点)。

由于似然函数是n个函数的乘积，直接求导不方便，对数求导发求其最大值点。

最大似然估计法步骤

(1)构造似然函数

$L(\theta)=\prod\limits_{i=1}^np(x_i;\theta)$离散型总体 或

$L(\theta)=\prod\limits_{i=1}^nf(x_i;\theta)$连续性总体

(2)取对数

$\ln{L(\theta)}=\sum\limits_{i=1}^n \ln{f(x_i;\theta)}$

(3)求导，令导数为0,得到驻点一般就是似然函数的最大值点，也就是要求的未知参数$\theta$的估计量。

如果驻点不存在，则另行分析。

对数求导法：

y=f(x)其两边先取对数lny=lnf(x) [f(x)>0],在同时求导${{f'(x)}\over{f(x)}}=(lny)'$,就得到结果f’(x)=f(x)(lny)’

例子

设总体X服从0-1分布，即X~b(1,p)，$X_1,X_2,…,X_n$是来自总体X的一个样本，试求参数p的矩估计量和最大似然估计量。

先求p的矩估计量

$\mu_1=E(X)=p$用样本均值代替总体均值E(X),

的p的矩估计量：$\hat{p}=\overline{X}$

求p的最大似然估计量

P{X=x}=$p^x(1-p)^{1-p} x=0,1$

设$x_1,x_2,…,x_n$是给定的样本值

对应的似然函数

$L(p)=\prod\limits_{i=1}^n p^{x_i}(1-p)^{1-x_i} (0<p<1)$ 求L(p)的最大值点

取对数

$\ln{L(p)}=\sum\limits_{i=1}^n \ln{[p^{x_i}(1-p)^{1-x_i}]}$

​ $=\sum\limits_{i=1}^n [x_i\ln{p} + (1-x_i)\ln{(1-p)}]$

(Inx)’ = 1/x

对p求导：$\sum\limits_{i=1}^n ({x_i\over p}-{{1-x_i}\over{1-p}})=0$

$\sum\limits_{i=1}^n {x_i\over p}=\sum\limits_{i=1}^n {{1-x_i}\over{1-p}}$

$x_i\sum\limits_{i=1}^n {1\over p}= {{1}\over{1-p}}(n-\sum\limits_{i=1}^n x_i)$

${{1-p}\over p}\sum\limits_{i=1}^n x_i= (n-\sum\limits_{i=1}^n x_i)$

$({{1}\over p}-1)\sum\limits_{i=1}^n x_i= (n-\sum\limits_{i=1}^n x_i)$

${{\sum\limits_{i=1}^n x_i}\over p}= n$

$p= {1\over n}\sum\limits_{i=1}^n x_i=\overline{X}$

故p的最大似然估计值为$\hat{p}=\overline{X}$

多参数最大似然估计法

设总体X的分布含有k个未知参数$\theta_1,..,\theta_n$，设$x_1,...x_n$是来自总体X的样本观测值，相应的似然函数为k元函数：

$L=L(\theta_1,…\theta_n)=\prod\limits_{i=1}^n f(x_i;\theta_1,…,theta_n)$

为求这个函数的最大值点，需先求函数的驻点，即各个偏导数同时为0的点

${{\partial L} \over {\partial \theta_i}}=0$或${{\partial {lnL}} \over {\partial \theta_i}}=0$

解出$\hat\theta_1,..,\hat\theta_k$，它们分别是未知参数$\theta_1,..,\theta_n$的最大似然估计量。

例子

设总体X~N($\mu,\sigma^2$)，$\mu,\sigma^2$未知，$x_1,...x_n$是来自筒体X的一个样本值，求$\mu,\sigma^2$的最大似然估计量。

X的概率密度

$f(x;\mu,\sigma^2)={1\over {\sqrt{2\pi}\sigma}}e^{-{{(x-\mu)^2}\over{2\sigma^2}}}$

相应的似然函数

$\prod\limits_{i=1}^nL(\mu,\sigma^2)=\prod\limits_{i=1}^n f(x_i;\mu,\sigma^2)=\prod\limits_{i=1}^n{1\over {\sqrt{2\pi}\sigma}}e^{-{{(x_i-\mu)^2}\over{2\sigma^2}}}={1\over{(2\pi)^{n\over 2}(\sigma^2)^{n\over 2}}}\prod\limits_{i=1}^ne^{{-(x_i-\mu)^2}\over{2\sigma^2}}$

求二元函数L的驻点

$\ln{L(\mu,\sigma^2)}=-{n\over2}\ln{(2\pi)}-{n\over2}\ln{\sigma^2}-\sum\limits_{i=1}^n{{(x_i-\mu)^2}\over{2\sigma^2}}$

求偏导数

${{\partial \ln{L}} \over {\partial \mu}}=-\sum\limits_{i=1}^n({x_i^2\over{2\sigma^2}}+{\mu^2\over{2\sigma^2}}-{2x_i\mu\over{2\sigma^2}})=\sum\limits_{i=1}^n{{x_i-\mu}\over \sigma^2}$

${(x_i-\mu)^2}\over{2\sigma^2}$对$\sigma^2$求偏导数${{(x_i-\mu)^2}\over{2}}* {1\over {\sigma^2}}={{(x_i-\mu)^2}\over{2}}* -{1\over {\sigma^2}^2}\sum\limits_{i=1}^n$

${{\partial \ln{L}} \over {\partial \sigma^2}}=-{n\over{2\sigma^2}}+{{(x_i-\mu)^2}\over {2(\sigma^2)}^2}\sum\limits_{i=1}^n$

求驻点

$\sum\limits_{i=1}^n{{x_i-\mu}\over \sigma^2}=0$

${1\over \sigma^2}(\sum\limits_{i=1}^nx_i-n\mu)=0$

$\mu={1\over n}\sum\limits_{i=1}^nx_i=\overline{x}$

$-{n\over{2\sigma^2}}+\sum\limits_{i=1}^n{{(x_i-\mu)^2}\over {2(\sigma^2)}^2}=0$ $-{n\over{2\sigma^2}}$移到右边，两边去掉$-{1\over{2\sigma^2}}$

${1\over { \sigma^2}}\sum\limits_{i=1}^n{(x_i-\mu)^2} =n$

$\sigma^2={1\over n}\sum\limits_{i=1}^n{(x_i-\overline{x})^2} =b_2$样本二阶中心矩

$\mu,\sigma^2$的最大似然估计量分别是

$\hat\mu=\overline{X}$

$\hat\sigma^2=B_2$

最大似然估计的不变性

设$\theta$的函数u=u($\theta$)($\theta\in\Theta$)

具有反函数 $\theta=\varphi(u)$($u\in U$)

若$\hat\theta$是X的概率分布中参数的最大似然估计，则$\hat u=u(\hat\theta)$是参数u($\theta$)的最大似然估计。

估计量的评选标准

无偏估计量

定义

若$\theta$的估计量$\hat\theta=\hat\theta(X_1,…,X_n)$,数学期望E($\hat\theta$)存在，且对于任意$\theta\in\Theta$都有$E(\hat\theta)=\theta$,则称$\hat\theta$是$\theta$的无偏估计量。否则为有偏估计量。

$\theta$的估计量$\hat\theta=\hat\theta(X_1,…,X_n)$

无偏估计量$\hat\theta:E(\hat\theta)=\theta$

估计量的无偏性是指：如果反复使用这一估计量很多次，则其平均偏差将为零。

$E(\hat\theta)-\theta$称为估计的系统误差

无偏估计的实际意义就是无系统误差。

命题1

设总体X有均值E(x)=$\mu$，$X_1,…,X_n$是来自总体的样本，设样本的线性组合$\hat\mu=\sum_{i=1}^nc_iX_i$是$\mu$的一个估计量($c_i$是实数)

证明：$\hat\mu$是$\mu$的无偏估计量的充分必要条件是$\sum_{i=1}^nc_i=1$

例子

设总体X~N($\mu,\sigma^2$),$X_1,…,X_n$是来自总体的样本,试确定定常数C，使$C\sum_{i=1}^n(X_{i+1}-X_i)^2$为$\sigma^2$的无偏估计量。

要使$E[C\sum_{i=1}^n(X_{i+1}-X_i)^2]=\sigma^2$

$E[C\sum_{i=1}^n(X_{i+1}-X_i)^2]$

$=C\sum_{i=1}^nE[(X_{i+1}-X_i)^2]$

$=C\sum_{i=1}^n[(E(X_{i+1})^2-2E(X_{i+1}^2)E(X_i)+E(X_I^2)]$

$=C(n-1)[(\sigma^2+\mu^2)-2\mu^2+(\sigma^2+\mu^2]$

$=C(n-1)2\sigma^2=\sigma^2$

$C={1\over{2(n-1)}}$

$E(X_i^2)=D(X_i)+[E(X_i)]^2=\sigma^2+\mu^2$

有效性

有些参数可能没有无偏估计量，有些参数有多个无偏估计量。

定义

$\hat\theta_1=f(X_1,..,X_N)$和$\hat\theta_2=g(X_1,..,X_N)$都是参数$\theta$的无偏估计量，若对于任何$\theta\in\Theta$都有$D(\hat\theta_1)≤D(\hat\theta_2)$，且对至少一个$\theta\in\Theta$不等式成立，则称$\hat\theta_1$是$\hat\theta_2$比更有效的估计量。

如果是$\hat\theta$的$\theta$方差最小的无偏估计量，则称$\hat\theta$为$\theta$的最小方差无偏估计量，它是最有效的估计量。

命题2

设总体X有均值E(x)=$\mu$，$X_1,…,X_n$是来自总体的样本，且D(X)存在，则在一切形如

$\hat\mu=\sum_{i=1}^nc_iX_i$ （其中$\sum_{i=1}^nc_i=1$）

的$\mu$的无偏估计量中，以样本均值$\overline{X}={1\over n}\sum\limits_{i=1}^nX_i$最有效。

例子

设$X_1,…,X_n$是总体U(0,$\theta$)的一个样本，记

$\hat\theta_1=2\overline{X} ,\hat\theta_2={{n+1\over n}}Z(Z=\max\limits_{1≤i≤n}\{X_i\})$

证明（1）$\hat\theta_1$和$\hat\theta_2$都是$\theta$的无偏估计量

X~U(a,b)=>E(X)=1/2(a+b),D(X)=1/12$(b-a)^2$

$E(\hat\theta_1)=E(2\overline{X})=2E(\overline{X})=2E(X)=2*{{0+\theta}\over 2}=\theta$

$E(\hat\theta_2)=E({{n+1\over n}}Z)={n+1\over n}E(Z)$

求Z的概率密度

根据X的概率密度得到X分布函数

$$F(x)=\left\{ \begin{aligned} &1，x≥\theta\\ &x/\theta,0<x<\theta \\ &0,x≤0 \end{aligned} \right.$$

Z的分布函数

Fz(x)=P{Z≤x}=P{$\max\limits_{1≤i≤n}\{X_i\}$≤x}

$=P\{\max\limits_{1≤i≤n}\{X_i\}≤x\}=P\{X_1≤x,..,X_n≤x\}$

$=P\{X_1≤x\}...P\{X_n≤x\}$

=F(x)…F(x)=$[F(x)]^n$

$$Fz(x)=\left\{ \begin{aligned} &1，x≥\theta\\ &x^n/\theta,^n0<x<\theta \\ &0,x≤0 \end{aligned} \right.$$
求导的Z的概率密度

fz(x)=fz’(x)=$nx^{n-1}/\theta^n(0<x<\theta)$

E(Z)=$\int_{o}^{\theta}x{{nx^{n-1}}\over\theta^n}dx={{n\theta}\over{n+1}}$

$E(\hat\theta_2)={n+1\over n}E(Z)=\theta$

(2)$\hat\theta_2$比$\hat\theta_1$更有效

$D(\hat\theta_1)=D(2\overline{X})=4D(\overline{X})=4{{D(X)}\over n}={\theta^2\over{3n}}$

$D(\hat\theta_2)=({{n+1}\over n})^2D(Z)$

$D(Z)=E(Z^2)-[(Z)]^2={{n\theta^2}\over{n+2}}-({{n\theta}\over{n+1}})^2$

$E(Z^2)=\int_{o}^{\theta}x^2{{nx^{n-1}}\over\theta^n}dx={{n\theta^2}\over{n+2}}$

$D(\hat\theta_2)=({{n+1}\over n})^2D(Z)={\theta^2\over{n(n+1)}}$

$D(\hat\theta_2)<D(\hat\theta_1)(n≥2)$

$\hat\theta_2$比$\hat\theta_1$更有效

一致性

定义

设$\hat\theta=\hat\theta(X_1,…,X_n)$是参数$\theta$的估计量，若对任何$\theta\in\Theta$当$n\to\infty$时有

$\lim\limits_{n\to\infty}P\{|\hat\theta-\theta|<\epsilon\}=1(\forall\epsilon>0)$

即$\hat\theta$依概率收敛于$\theta$，$\hat\theta\xrightarrow{P} \theta$

则称$\hat\theta$是$\theta$的一致估计量

命题3

设$\hat\theta$是参数$\theta$的估计量，若$\lim\limits_{n\to\infty}D(\hat\theta)=0$，则$\hat\theta$是$\theta$的一致估计量。

一致估计量的不变性

设$\hat\theta$是$\theta$的一致估计量，g($\theta$)是连续函数，则g($\hat\theta$)是$g(\theta)$的一致估计量

区间估计

置信区间

定义

设总体X的分布函数F(x;$\theta$)含有参数$\theta\in\Theta$（$\Theta$是$\theta$取值范围）。对于给定的值$\alpha(0<\alpha<1)$，若来自总体X的样本$X_1,…,X_n$确定的两个统计量$\underline{\theta}=\underline{\theta}(X_1,…,X_n)$和$\overline{\theta}=\overline{\theta}(X_1,…,X_n)$

其中$\underline{\theta}<overline{\theta}$,满足$\forall\theta\in\Theta$

$p\{\underline{\theta}<\theta<\overline{\theta}\}≥1-\alpha$

则称随机区间($\underline{\theta},\overline{\theta}$)是$\theta$的$\color{red}{置信水平}$为$2-\alpha$的$\color{red}{置信区间}$。

$\underline{\theta}$和$\overline{\theta}$分别是置信下限和置信上限。

区间估计一般要结合参数的点估计量来使用。

点估计量只是未知参数的近似值，但它不能告诉我们其精准程度和可信度。

区间估计则通过两个统计量$\underline{\theta}$和$\overline{\theta}$确定了一个区间，使得该区间包含真值的概率不小于$1-\alpha$。还给出了估计的精度和可信程度。

$p\{\underline{\theta}<\theta<\overline{\theta}\}≥1-\alpha$的含义如下：

若反复抽样多次（样本容量不变），每一个样本值$x_1,..,x_n$确定一个区间

$(\underline{\theta},\overline{\theta})=(\underline{\theta}(X_1,…,X_n),\overline{\theta}(X_1,…,X_n))$

这样的随机区间可能包含$\theta$的真值，也不能不包含。这些区间中，包含真值的约占100($1-\alpha$)%，不包含的仅占100$\alpha$%。（$\alpha$很小）

$\alpha$是一个很小的数，一般取0<$\alpha$≤0.3。这样真值落到置信区间外的概率$\alpha$比较小。

一般地，$\alpha$越小，$\theta$落入置信区间的可能性就越大（为1-$\alpha$），但这个区间也会越宽，估计误差会增大。

所以$\alpha$也不能取太小，通常去0.01，0.05，0.1等。