套索回归法和岭回归法类似,套索回归算法也会惩罚回归系数。在套索回归中,会惩罚回归系数的绝对值。此外,它能够减少变化程度并提高线性回归模型的精度。套索回归算法和岭回归算法有点不同,它使用的惩罚函数是绝对值,而不是平方。这导致惩罚(或等于约束估计的绝对值之和)值使一些参数估计结果等于零。使用惩罚值越大,进一步估计会使缩小值越趋近零。这将导致我们要从给定的N个变量中选择变量。 如果预测的一组变量高度相似,套索回归算法会选择其中的一个变量,并将其他的变量收缩为零。
要点:
• 除常数项以外,这种回归的假设与最小二乘回归类似;
• 它将收缩系数缩减至零(等于零),这确实有助于特征选择;
• 这是一个正则化方法,使用的是 L1 正则化;
• 如果一组预测因子是高度相关的,套索回归会选出其中一个因子并且将其它因子收缩为零。
scikit- leam 中套索算法的实现类是 Lasso,我们还是用波士顿数据集来做个实验
from pandas import read_csv
from sklearn.model_selection import KFold
from sklearn.model_selection import cross_val_score
from sklearn.linear_model import Lasso
#导入数据
filename = 'data/boston_housing.csv'
names =['CRIM','ZN','INDUS','CHAS','NOX','RM','AGE','DIS','RAD','TAX','PRTATIO','B','LSTAT','MEDV']
data = read_csv (filename , names=names, delim_whitespace=False)
data=data.dropna(axis=0, how='any', thresh=None, subset=None, inplace=False)
#将数据分为输入数据和输出结果
array = data.values
X =array[:,0:13]
Y =array[:,13]
n_splits = 10
seed = 7
kfold = KFold(n_splits=n_splits, random_state=seed,shuffle=True)
model = Lasso ()
scoring= 'neg_mean_squared_error'
result= cross_val_score(model, X, Y, cv=kfold, scoring=scoring)
print('Lasso Regression:%.3f' % result.mean())
打印结果如下:
PS C:\coding\machinelearning>套索回归算法-波士顿数据集.py
Lasso Regression:-26.203
PS C:\coding\machinelearning>