Oracle方法
Oracle方法提出来是判断一个模型选择方法是否是好的,比如adaptive lasso是Oracle方法。但是这种判断标准并不是绝对的,不是Oracle方法并不意味着这个方法就是“差的”,比如Lasso不是Oracle方法,但是Lasso在某些数据中的表现情况很好。
以下是给出一个Oracle方法的定义:
已经被证实的是一个好的方法应该有这些Oracle性质,如系数的连续缩小性也被包括在最优的方法中。
比如,我们用的best subset selection和forward selection在选择变量个数的时候是不连续的,估计的变量系数值自然也是非连续的。
lasso在某些条件下不满足变量选择的相合性(consistency),lasso不算一个oracle方法。而adaptive lasso当权重被合适地选择时,具有oracle性质。
adaptive lasso
提一句,这里的自适应指的是权重本身是data-dependent的。
当我们选择合适的
λ
n
λ_n
λn时,自适应lasso就会有Oracle性质。这个可以总结为一条定理。
定理:假设
λ
n
n
→
0
\frac{\lambda_n}{\sqrt{n}}\to0
nλn→0,
λ
n
n
ν
−
1
2
→
∞
\lambda_nn^{\frac{\nu-1}{2}}\to\infty
λnn2ν−1→∞,自适应lasso的系数估计值满足下列性质:
(1) 变量选择的相合性
(2) 渐进正态性
资料来源:
[1] Zou H. The adaptive lasso and its oracle properties[J]. Journal of the American statistical association, 2006, 101(476): 1418-1429.