北京大学任艳霞老师 概率统计(A) 统计学部分总结 (二)估计

估计

最大似然估计

在某一分布类内,似然函数为
$$L(\vec{x},\theta )={\Pi }_{i=1}^n{p}_{\theta }(x_i)$$
$L(\vec{x},\theta )$值会随$\theta$的选取变化.
最大似然估计认为,若有:
$$L(\vec{x},{\theta }_0)\ge L(\vec{x},\theta ),\forall \theta \in \Theta ,{\theta }_0\in \Theta$$
则$\theta$的估计值应取$\hat{\theta }={\theta }_0$.

矩估计

由总体分布求出真实矩$m_k(\theta )=E{X}^k$

由数据取平均,求出样本矩$a_k=\frac{1}{n}\Sigma x^k$

根据大数律,${\lim }_{n\to \infty }{a}_k=m_k(\theta )$

由此,可以反解出$\hat{\theta }=T(\vec{x})$

估计的无偏性与优良性

评价估计好坏的两条标准
若$E_{\theta }(\hat{\theta })=\theta$则称估计是无偏的.
例如,对于估计
$$\hat{\mu }=\bar{X}$$
$$E_{\mu }(\bar{X})=\frac{1}{n}\Sigma E(X)=\frac{1}{n}\times n\times \mu =\mu$$
所以具有无偏性.

在满足无偏性的前提下,可以进一步比较估计的优良性.
$Va{r}_{\theta }(\hat{\theta })$越小则称估计越优良.

UMVUE与指数族分布

在所有无偏估计中,优良性最好的估计称为,最小方差无偏估计(UMVUE)

求UMVUE比较复杂,但对于指数族分布来说,有简单的方法.

满足如下形式的分布称为指数族分布:

$$p_{\theta }(x)=s(\theta )h(x)e^{{\Sigma }_i{c}_i(\theta )t_i(x)}$$
对于指数族分布,可以证明,若
$$\hat{\theta }=\varphi (T_1(\vec{x}),T_2(\vec{x})...)$$
具有无偏性,则其为UMVUE.
其中:
$$T_i(\vec{x})={\Sigma }_j{t}_i(x_j)$$

相合性与渐进分布

相合性:$\forall \theta ,{\lim }_{n\to \infty }\hat{\theta }{\to }^{P_{\theta }}g(\theta )$

可以证明,矩估计具有相合性

渐进分布:

由CLT:
$$\sqrt{n}(\bar{X}-\mu )\sim N(0,{\sigma }^2),n\to \infty ,X_1,X_2...iid$$
$\Delta$方法:
若
$$\sqrt{n}(T_n-\theta )\sim N(0,{\sigma }^2)$$
$$h^{{}^{\prime }}(\theta )=a,a\ne 0$$
则,
$$\sqrt{n}(h(T_n)-h(\theta ))\sim N(0,a^2{\sigma }^2)$$

置信区间与置信限

枢轴量

称$h=h(\vec{x},g(\theta ))$为枢轴量,当:

1. h分布与$\theta$无关；
2. h不含讨厌参数；

可以通过枢轴量h在一定置信度下的分布范围,进而解出$\theta$范围.

正态情形

$\mu$

已知${\sigma }^2$

$h=\frac{\sqrt{n}(\bar{X}-\mu )}{\sigma }\sim Z$
由:
$$P(|h|\le x)=1-\alpha$$
得,
$$\mu \in [\bar{X}-\frac{\sigma }{\sqrt{n}}x,\bar{X}+\frac{\sigma }{\sqrt{n}}x]$$

未知${\sigma }^2$

$h=\frac{\sqrt{n}(\bar{X}-\mu )}{s_x}\sim t(n-1)$
由:
$$P(|h|\le x)=1-\alpha$$
得,
$$\mu \in [\bar{X}-\frac{s_x}{\sqrt{n}}x,\bar{X}+\frac{s_x}{\sqrt{n}}x]$$

${\sigma }^2$

$$h=\frac{(n-1)S^2}{{\sigma }^2}\sim {\chi }^2(n-1)$$
$$P(h\ge x)=1-\alpha$$
$${\sigma }^2\le \frac{(n-1)S^2}{x}$$

假设检验