Stein估计

什么是Stein估计

岭估计是对LS估计$\hat{\beta }$向原点作压缩。一般来说，它们是对$\hat{\beta }$各分量的不均匀压缩。Stein估计是一种均匀压缩估计，它是由Stein于1955年提出的。这是最简单、提出最早的一种有偏估计。虽然它的应用远不及岭估计，但却在有偏估计发展史上占有重要地位。

Stein估计的定义

对于线性回归模型，记$\hat{\beta }$为回归系数$\beta$的LS估计，称${\hat{\beta }}_s(c)=c\hat{\beta }$为\beta的Stein估计，这里$0\le c\le 1$称为压缩系数。当$c$在$[0,1]$区间变化时，就生成了一个估计类，并简记为${\hat{\beta }}_s$。

Stein估计的性质

1. 当$c\ne 1$，显然${\hat{\beta }}_s$为$\beta$的有篇、压缩估计。
2. 存在$0<c<1$，使得MSE(${\hat{\beta }}_s$)<MSE($\hat{\beta }$)。
   事实上，${\hat{\beta }}_s$的均方误差
   $$\begin{array}{rl}MSE({\hat{\beta }}_s)& =trCov({\hat{\beta }}_s)+\Vert E{\hat{\beta }}_s-\beta {\Vert }^2\\ & =c^2{\sigma }^{2}tr(X^{\prime }X{)}^{-1}+(c-1{)}^2\Vert \beta {\Vert }^2\\ & =c^2{\sigma }^2\sum _{i=1}^p{\lambda }_i^{-1}+(c-1{)}^2\Vert \beta {\Vert }^2\\ & \equiv g(c),\end{array}$$
   对$c$求导数，并令其等于0，解得$c$的最优值
   $$c^{\ast }=\frac{\Vert \beta {\Vert }^2}{{\sigma }^2{\sum }_{i=1}^p{\lambda }_i^{-1}+\Vert \beta {\Vert }^2}$$
   容易证明，在$c^{\ast }$处，$g(c)=MSE({\hat{\beta }}_s)$达到最小，且$c^{\ast }\le c<1$时$MSE({\hat{\beta }}_s)<MSE(\hat{\beta })$. 即Stein估计比LS估计有较小的均方误差。

和岭估计一样，可以证明，对一切$0<c\le 1$ Stein估计是$\beta$的可容许估计，并且它还是Bayes估计。

压缩系数的选择

1. Stein-James法
2. 应用公式
   $$\begin{array}{r}c=\{\begin{array}{ll}\frac{1}{2}+\sqrt{\frac{1}{4}-{\hat{\tau }}^{-1}},& \hat{\tau }\ge 4\\ 0,& \hat{\tau }<4\end{array}\end{array},$$
   其中$\hat{\tau }=\Vert \hat{\beta }{\Vert }^2/(\widehat{{\sigma }^2}{\sum }_{i=1}^p{\lambda }_i^{-1})$.
3. Farebrother法

参考文献

《回归分析》陈希孺