LASSO回归

LASSO回归

添加l2正则的惩罚项，不管怎么缩减，都会保留建模时的所有变量，无法降低模型复杂度。
LASSO回归，不重要的回归系数缩减为0。
LASSO回归模型的目标函数：

使用坐标轴下降法：
迭代算法，坐标轴下降法是沿着坐标轴下降，梯度下降是沿着梯度的负方向下降，对于p维参数的可微凸函数J(B)而言，如果存在一点B，使得函数J(B)在每个坐标轴上均达到最小值，则J(B)就是B上的全局最小值。
坐标轴下降法，对目标函数中的某个Bi做偏导，即控制其他p-1个参数不变，沿着一个轴的方向求导，再对剩下的p-1个参数求导，令每个分量下的导函数为0，得到使目标函数达到全局最小值。

其中ESS(B)代表误差平方和，\lambdal(B)代表惩罚项，

假设xij=hj(xi)

令



由于惩罚项是不可导函数，不能直接使用梯度方法，而使用次梯度方法，解决不可导凸函数的最小值。
对于某个分量Bj来说，惩罚项为\lambda|Bj|
次导函数为：

为了求解最终的LASSO回归函数，需要将ESS与l1的分量导函数相结合，令函数为0

转化为：

1.可视化
选定惩罚系数\lambda的值

<