lasso的由来和python实现
lasso源自Least Absolute Selection and Shrinkage Operator,讲的是通过lasso回归选择了全部变量的一个子集,通过引入绝对值惩罚项来收缩系数。如果你只想知道题目,下面的内容其实可以不用看咧。
lasso 的目标函数
lasso最小化函数如下,特点就是在0不可导,需要用到subgradient.
,
Subgradient
subgradient 即如下图在两边取极限的中间地带,即不能保证最快下降但是只是是下降的。可以得到一个lasso目标函数实例的subgradient。
aka shooting algorithm
这个射击算法是根据subgradient设计的,soft 展开其实就是上面 f ( θ f(\theta f(θ的subgradient。为啥叫soft threshoding呢?threshoding好理解就搞个阈值弄个平台出来,是否对应的也有hard thresholding?答案是肯定的,区别见下图(左边是soft,右边是hard)。