python 用lasso进行变量选择_python机器学习库scikit-learn简明教程之：Lasso回归预测...

1.简介

LASSO回归的特点是在拟合广义线性模型的同时进行变量筛选和复杂度调整。 因此，不论目标因变量是连续的，还是二元或者多元离散的， 都可以用LASSO回归建模然后预测。 这里的变量筛选是指不把所有的变量都放入模型中进行拟合，而是有选择的把变量放入模型从而得到更好的性能参数。 复杂度调整是指通过一系列参数控制模型的复杂度，从而避免过度拟合。

对于线性模型来说，复杂度与模型的变量数有直接关系，变量数越多，模型复杂度就越高。 更多的变量在拟合时往往可以给出一个看似更好的模型，但是同时也面临过度拟合的危险。 此时如果用全新的数据去验证模型，通常效果很差。 一般来说，变量数大于数据点数量很多，或者某一个离散变量有太多独特值时，都有可能过度拟合。

2.建模和预测

scikit-learn库实现LASSO方法的算法是使用坐标下降法，来得出拟合多项式的系数；来看看实现LARS(最小角回归)的一个实例吧：

#gnu

>>> from sklearn import linear_model

>>> reg = linear_model.Lasso(alpha = 0.1)

>>> reg.fit([[0, 0], [1, 1]], [0, 1])

Lasso(alpha=0.1, copy_X=True, fit_intercept=True, max_iter=1000,

normalize=False, positive=False, precompute=False, random_state=None,

selection='cyclic&