语言lasso步骤_机器学习算法之LASSO算法

算法名称： LASSO的全称Least Absolute Shrinkage and Selection Operator，即最小绝对收缩选择算子。

算法的适用场景： Lasso回归是有监督机器学习的一种常见的回归方法。

算法的基本逻辑：

 一般来说，有监督的机器学习都有以下形式的优化目标：

其中第一部分就是Loss函数，第二部分正则化项。由此可以看出基本上所有的有监督机器学习，其核心思想无非就是正则化参数的同时最小化经验误差函数。最小化经验误差是为了极大程度的拟合训练数据，正则化参数是为了防止过分的拟合训练数据。Lasso回归也称线性回归模型的L1正则化，其基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使残差平方和最小化，从而能够产生某些严格等于0 的回归系数，得到可以解释的模型。

但在Lasso回归的求解过程中，由于采用了L1范数也就是各元素绝对值之和进行正则化，从而导致目标函数存在不可导点，因此最小二乘法，梯度下降法，牛顿法，拟牛顿法都失效了。目前，在Lasso回归的求解中比较流行的是坐标下降法(Coordinate Descent)。坐标下降法顾名思义，是沿着坐标轴的方向去下降，通过启发式的方式一步步迭代求解函数的最小值。坐标轴下降法的数学依据主要