scad的oracle性质,变量选择之SCAD算法

变量选择之SCAD算法

本文提出了一种用于同时达到选择变量和预测模型系数的目的的方法——SCAD。这种方法的罚函数是对称且非凹的，并且可处理奇异阵以产生稀疏解。此外，本文提出了一种算法用于优化对应的带惩罚项的似然函数。这种方法具有广泛的适用性，可以应用于广义线性模型，强健的回归模型。借助于波和样条，还可用于非参数模型。更进一步地，本文证明该方法具有Oracle性质。模拟的结果显示该方法相比主流的变量选择模型具有优势。并且，模型的预测误差公式显示，该方法实用性较强。

SCAD的理论理解

在总结了现有模型的一些缺点之后，本文提出构造罚函数的一些目标：

罚函数是奇异的(singular)

连续地压缩系数

对较大的系数产生无偏的估计

SCAD模型的Oracle性质，使得它的预测效果跟真实模型别无二致。

并且，这种方法可以应用于高维非参数建模。

SCAD的目标函数如下：

SCAD的罚函数与$\theta$的(近似)关系如下图所示。

可见，罚函数可以用二阶泰勒展开逼近。

Hard Penality,lasso,SCAD的系数压缩情况VS系数真实值的情况如下图所示。

可以看到，lasso压缩系数是始终有偏的，Hard penality是无偏的，但压缩系数不连续。而SCAD既能连续的压缩系数，也能在