Oracle方法和自适应lasso

Oracle方法

Oracle方法提出来是判断一个模型选择方法是否是好的，比如adaptive lasso是Oracle方法。但是这种判断标准并不是绝对的，不是Oracle方法并不意味着这个方法就是“差的”，比如Lasso不是Oracle方法，但是Lasso在某些数据中的表现情况很好。

以下是给出一个Oracle方法的定义：

已经被证实的是一个好的方法应该有这些Oracle性质，如系数的连续缩小性也被包括在最优的方法中。

比如，我们用的best subset selection和forward selection在选择变量个数的时候是不连续的，估计的变量系数值自然也是非连续的。

lasso在某些条件下不满足变量选择的相合性（consistency），lasso不算一个oracle方法。而adaptive lasso当权重被合适地选择时，具有oracle性质。

adaptive lasso

提一句，这里的自适应指的是权重本身是data-dependent的。

当我们选择合适的${\lambda }_n$时，自适应lasso就会有Oracle性质。这个可以总结为一条定理。
定理：假设$\frac{{\lambda }_n}{\sqrt{n}}\to 0$，${\lambda }_n{n}^{\frac{\nu -1}{2}}\to \infty$，自适应lasso的系数估计值满足下列性质：
(1) 变量选择的相合性
(2) 渐进正态性

资料来源：
[1] Zou H. The adaptive lasso and its oracle properties[J]. Journal of the American statistical association, 2006, 101(476): 1418-1429.