scad的oracle性质,变量选择之SCAD算法

SCAD的提出

据说学术界有一种现象叫做『大牛挖坑，小牛灌水』。而我等『小菜』就只有『吹水』的份了。

不过还真不要小看本『小菜』，根据著名的『六度分割理论』,我跟大牛的距离也是近的很呢。

不信我跟你算算。将我引入统计学习领域大门的钟威老师,师承自统计学习大牛Runze Li老师，而Runze Li老师的导师居然是统计学习领域的泰斗级人物范剑青老师,Jianqing Fan!

看来六度分割理论还真有那么一点道理呀！

Runze Li老师在变量选择方法的研究中，有着非常突出的成果，著名的SCAD惩罚方法即由他在其博士论文中首次提出。而变量选择作为统计学习领域的一大热点，当然不可不知一二。于是，我们今天来学习一下Runze Li老师提出的SCAD惩罚方法。

八卦结束，切入正题。

论文笔记

SCAD的提出源自于论文 Variable Selection via Nonconcave Penalized Likelihood and its Oracle Properties。以下是这篇学术论文的学习笔记。

摘要

本文提出了一种用于同时达到选择变量和预测模型系数的目的的方法——SCAD。这种方法的罚函数是对称且非凹的，并且可处理奇异阵以产生稀疏解。此外，本文提出了一种算法用于优化对应的带惩罚项的似然函数。这种方法具有广泛的适用性，可以应用于广义线性模型，强健的回归模型。借助于波和样条，还可用于非参数模型。更进一步地，本文证明该方法具有Oracle性质。模拟的结果显示该方法相比主流的变量选择模型具有优势。并且，模型的预测误差公式显示，该方法实用性较强。

SCAD的理论理解

在总结了现有模型的一些缺点之后，本文提出构造罚函数的一些目标：<