岭回归(ridge regression)和lasso(least absolute shrinkage and selection operator)都是OLS的改进,知乎上有关于三者异同的详细讨论:
https://www.zhihu.com/question/38121173
关于lasso:https://zhuanlan.zhihu.com/p/26766850
这里记录一下最近的学习心得。
岭回归的含义:
岭回归的权值计算公式中有单位方阵I,就像岭一样,所以称为岭回归。
遗留的问题:
岭回归和lasso都可以将参数控制在较小的范围中,lambda越大,系数就越小,优化过程中,他们的损失函数OLS项是w的函数,具有最小值,而正则化项的最小值都是0,显然,正则化项正常都不应该是0,OLS项和正则项是相互制约的,lambda控制着他们的“比例”,最后达到某种平衡状态。
但大家都说,lasso具有缩减特征的作用,因为lasso能让某些具有线性关系的特征的系数趋于0,比如,x1和x2具有较强的相关性,lasso能随机让x1或x2的系数为0,进而我们可以剔除其中一个特征。
问题是,lasso为什么可以,而岭回归不可以呢,就损失函数而言,两者本质上差不多。翻了几本书都没有提到这个问题,只是说能,网络上讨论这个问题的也不多。
比对损失函数来看,岭回归正则化项的梯度是theta,是连续的,而lasso的梯度为[-1,1],theta小于0时候是-1,而大于0的时候是1,也就是在[-1,1]的值域中lasso的梯度要大,因而下降的快?
https://zhuanlan.zhihu.com/p/26766850此知乎中有谈论这个问题,分别画出了两者正则项部分的轮廓图,然后根据他们轮廓图的不一样,得到的结论是lasso更加容易下降到0,不甚明白。