python 方差_使用python+sklearn实现收缩协方差估算：LodoitWolf、OAS和最大似然性

使用协方差估计时，通常的方法是使用最大似然估计器，例如sklearn.covariance.EmpiricalCovariance，它是无偏的，即当给定许多观测值时，它会收敛到真实(总体)协方差，但是对它进行正则化以减少其方差也是有益的，反过来则会带来一些偏差。本示例说明了在Shrunk Covariance估计器中使用简单正则化的效果，特别地，它着重于如何设置正则化的量，即如何选择偏差方差折衷。

这里我们比较的三种方法：

• 根据潜在收缩参数网格，通过交叉验证three folds likelihood来设置参数。
• Ledoit和Wolf提出的一个近似公式(close formula)，用于计算渐近最优正则化参数(最小化MSE准则)，从而得出sklearn.covariance.LedoitWolf协方差估计。
• Chen等人提出了Ledoit-Wolf收缩率的改进方法`sklearn.covariance.OAS`。在数据呈高斯分布的假设下，它的收敛性明显更好，特别是对于小样本来说。

为了量化估计误差，我们针对收缩参数的不同值绘制了未出现过数据的似然性(likelihood)。我们还通过交叉验证或使用LedoitWolf和OAS估计来显示选择。 示例可得，最大似然估计是没有收缩的，因此性能很差。Ledoit-Wolf估计的性能非常好，因为它接近于最优值，并且计算成本不高，而OAS估计值离最优值有点远。有趣的是，这两种方法都优于计算成本要高得多的交叉验证。 <