参数估计-点估计

定义

设统计模型为 { P θ   θ ∈ Θ } \{P_\theta\,\theta \in \Theta\} {Pθ​θ∈Θ},任何与总g有关的待估计量可以看成是参数空间$\Theta$上的实值函数$q(\theta )$,$g(\theta )$称为参数

用来估计参数$g(\theta )$的实值统计量$T(X)$称为$g(\theta )$的估计量,简称为估计

通常用记号$\hat{g}$表示估计,相当于$\hat{g}(\theta )$

点估计

频率替换原理

相当于用频率来替换概率,在样本试验次数无穷大的时候,频率=概率

但是在实际之中,每次试验结果发生的概率$p_i$不是独立变换的,而是依赖于$m$维参数$\theta =({\theta }_1,{\theta }_2,...{\theta }_m)$的连续函数,$p_i=h_i({\theta }_1,{\theta }_2,...,{\theta }_m),i=1,2,...,k$

假定方程可解,$\theta$可以用$p_i$表示,$q(\theta )=g(p_1,p_2,...,p_k)$,然后把$p_i$用$q_i$替换

矩估计法

主要思想是基于频率替换原理,样本的矩依概率收敛于总体的矩

设总体的前r个原点矩存在,即$m_j(\theta )=E_{\theta }(X^j),j=1,2,...,r,\theta =({\theta }_1,{\theta }_2,...,{\theta }_m)$

相应的样本的前$r$个原点矩为${\hat{m}}_j=\frac{1}{n}{\Sigma }_{i=1}^n{X}_i^j,j=1,2,...,r$、

假设需要估计$q(\theta )$,先将其表示为前r个原点矩的函数,然后反解+替换原理即可

通常做题的方法也是通过$E(X),E(X^2)...$用未知参数表示,然后解方程

优点

• 不依赖于总体的分布,简便
• 只要n足够大,精度高

缺点

• 样本容量一定,精度低
• 总体的k阶矩要存在
• 未知参数能够写为总体的原点矩的函数形式

注意 总体有的时候不一定存在适当阶矩,比如柯西分布

极大似然估计

最早是由高斯在处理正态分布的时候提出的

设总体$X$的密度函数为$f(x,\theta )$,$\theta$是未知参数,那么极大似然函数就是$L={\prod }_{i=1}^n{f}_{\theta }(x_i,\theta )$

如果是离散型,就是$L={\prod }_{i=1}^n{P}_{\theta }(X_i=x_i)$

然后要求哪个参数的估计,对这个函数求偏导即可

理解

其实极大似然估计就是让参数尽可能的与数据相匹配

可以将$L$理解为一个联合分布的概率,代表出现当前样本的概率

(但我们当前已经发生了,已经是1),然后让$L$这个概率尽可能大,贴近我们当前的事实(贴近1)

均方误差准则

假设用$T(x)$作为参数$q(\theta )$的估计量,评价估计优劣的一个准则定义如下

$$MS{E}_{\theta }(T)=R(\theta ,T)=E(T(x)-q(\theta ){)}^2$$

如果$R(\theta ,T)<+\infty ,R(\theta ,T)=D_{\theta }(T(x))+b^2(\theta ,T),b(\theta ,T)=E_{\theta }[T(x)-q(\theta )]$

推导

点估计的无偏性
估计的目的是找到一个$\hat{\theta }=\theta$,但$\hat{\theta }$是个随机变量,需要衡量效果

用$E|\hat{\theta }-\theta |$来衡量差距,但$E|\hat{\theta }-\theta |$不是一个光滑的函数,所以我们采用$E(\hat{\theta }-\theta {)}^2$来衡量

$$\begin{array}{rl}E(\hat{\theta }-\theta {)}^2& =E(\hat{\theta }-E(\hat{\theta })+E(\hat{\theta })-\theta {)}^2\\ & =D(\hat{\theta })+(E(\hat{\theta })-\theta {)}^2+2E(\hat{\theta }-\theta )E(\hat{\theta }-E(\hat{\theta }))\\ & =D(\hat{\theta })+(E(\hat{\theta })-\theta {)}^2\end{array}$$

$b(\theta ,T)$称为偏差,如果$b(\theta ,T)=0$,则为无偏估计