oracle的意思是
知道真正的子集,然后在这个子集上进行估计。
oracle性的意思是
前提:在这个真正的子集上
估计量的渐进分布和最大似然估计(MLE)的渐进分布是相同的。
也就是说,根据估计量的渐进分布,在不付出任何代价的情况下,就能知道这个真正的子集。
非线性代价
但是根据
Hannes Leeb, Benedikt M. Pötscher, Sparse estimators and the oracle property, or the return of Hodges’ estimator, Journal of Econometrics, Volume 142, Issue 1, 2008, Pages 201-211,
任何oracle估计量会有一个巨大的非线性代价,比如
任何oracle估计量都会有一个发散到无穷远处的极大值。
Lasso的oracle性是:
前提:在真实的子集下
估计量的渐进分布和Lasso逻辑回归的渐进分布是相同的。
oracle性的另一种解释
一个oracle估计量必须在参数估计和变量选择中保持一致。
一个在变量选择中一致的估计量不一定在参数估计中一致