lasso和ridge的区别

• lasso 也叫L1正则化 惩罚系数的绝对值

　　ridge 也叫L2正则化 惩罚系数的平方

 

• ridge 惩罚后 每个系数都收缩

　　lasso 惩罚后，有的系数直接变成0 其他系数收缩

 

• LASSO: least absolute selection and shrinkage operator

　　lasso 有变量选择的功能

 

===============

共同点为：

(1) 当截距项存在时，都不惩罚截距项

beta_0 = mean(y)

(2) 都是有偏的

(3) 都要把系数scale后，再进行惩罚，因为 sum || beta||时，要保证fair

 

=============

关于bias 和variance

bias of lasso estimate  increasing as lambda increasing

variance of lasso estimate increasing as lambda increasing