2.3.3 线性模型
1. 用于回归的线性模型
在一维wave数据集上举例：
#导入相关库
import pandas as pd
import numpy as np
import mglearn
import matplotlib.pyplot as plt
%matplotlib inline
#wave数据集
X,y = mglearn.datasets.make_wave(n_samples=40)
mglearn.plots.plot_linear_regression_wave()
输出结果：
w[0]: 0.393906 b: -0.031804
2. 线性回归
线性回归，或者普通最小二乘法（ordinary least squares, OLS）
线性回归寻找参数w和b,使得对训练集的预测值与真实的回归目标值y之间的均方误差最小
均方误差（mean squard error)是预测值与真实值之差的平方和除以样本数
线性回归没有参数，这是一个优点，但也因此无法控制模型的复杂度
from sklearn.linear_model import LinearRegression
from sklearn.model_selection import train_test_split
X, y = mglearn.datasets.make_wave(n_samples=60)
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
lr = LinearRegression().fit(X_train, y_train)
print("lr.coef_: {}".format(lr.coef_))
print("lr.intercept: {}".format(lr.intercept_))
#性能
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
输出结果：
lr.coef_: [0.39390555]
lr.intercept: -0.031804343026759746
Training set score: 0.67
Test set score: 0.66
“斜率“被保存在coef_属性中，是一个Numpy数组，每个元素对应一个输入特征
”截距“被保存在intercept_属性中，是一个浮点数
结果分析：
R^2约为0.66，这个结果不是很好，但我们可以看到，训练集和测试集上的分数非常接近，这说明可能存在欠拟合，而不是过拟合。
对于这个一维数据来说，过拟合的风险很小，因为模型非常简单（或受限），然而对高维的数据集（即有大量特征的数据集），线性模型会变得更加强大，过拟合的可能性也会变大。
看一下更为复杂的波士顿房价数据集案例：
#boston数据集
X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
lr = LinearRegression().fit(X_train, y_train)
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
输出结果：
Training set score: 0.95
Test set score: 0.61
训练集和测试集之间的性能差异是过拟合的明显标志，在测试集上表现很好，但在新的数据集上表现差，因此应试图找到一个可以控制复杂度的模型
标准线性回归，常常不能做外推预测，最常用的替代方法之一就是岭回归（ridge regression）
3. 岭回归（Ridge)
预测公式与普通最小二乘法相同，但在岭回归中，对系数(w)的选择不仅要在训练数据上得到好的预测效果，而且还要拟合附加约束。
我们还希望系数尽量小，换句话说，w的所有元素都应接近于0；直观上，这意味着每个特征对输出的影响应尽可能小（斜率很小,同时仍给出很好的预测结果，这种约束是所谓正则化（regularization)的一个例子。
正则化是指对模型做显式约束，以避免过拟合，岭回归用到的这种被称为L2正则化
#岭回归
from sklearn.linear_model import Ridge
ridge = Ridge().fit(X_train, y_train)
print("Training set score: {:.2f}".format(ridge.score(X_train, y_train)))
print("Test set score: {:.2f}".format(ridge.score(X_test, y_test)))
输出结果：
Training set score: 0.89
Test set score: 0.75
可以看出，Ridge在训练集上的分数要低于LinearRegression，但在测试集上的分数更高，这和我们预期一样。
线性回归对数据存在过拟合，Ridge是一种约束更强的模型，所以更不容易过拟合。复杂度更小的模型意味着在训练集上的性能更差，但泛化性能更好，由于我们只对泛化性能感兴趣，所以应该选择Ridge模型
Ridge模型在模型的简单性（系数都接近于0）与训练集性能之间做出权衡，二者对于模型的重要程度可以通过设置alpha参数来指定。最佳设定取决于用到的具体数据集，增大会使得系数更加趋向于0，从而降低训练集性能，但可能会提高泛化性能。例如：
#alpha系数
ridge10 = Ridge(alpha=10).fit(X_train, y_train)
print("Training set score: {:.2f}".format(ridge10.score(X_train, y_train)))
print("Test set score: {:.2f}".format(ridge10.score(X_test, y_test)))
ridge01 = Ridge(alpha=0.1).fit(X_train, y_train)
print("Training set score: {:.2f}".format(ridge01.score(X_train, y_train)))
print("Test set score: {:.2f}".format(ridge01.score(X_test, y_test)))
输出结果：
alpha为10：
Training set score: 0.79
Test set score: 0.64
alpha=0.1：
Training set score: 0.93
Test set score: 0.77
减少alpha可以让系数受到的限制更小，即在图中向右移动，对于非常小的alpha值，系数几乎没有受到限制，我们得到一个与LinearRegression类似的模型
这里alpha=0.1似乎效果不错，我们可以尝试进一步减小以提高泛化性能
更大的alpha表示约束更强的模型，所以我们预计大alpha对应的coef_元素比小alpha对应的coef_元素要小：
#alpha与系数比较
plt.plot(ridge.coef_, 's', label="Ridge alpha=1")
plt.plot(ridge10.coef_, '^', label="Ridge alpha=10")
plt.plot(ridge01.coef_, 'v', label="Ridge alpha=0.1")
plt.plot(lr.coef_, 'o', label='LinearRegression')
plt.xlabel('Coefficient index')
plt.ylabel('Coefficient magnitude')
plt.hlines(0,0,len(lr.coef_))
plt.ylim(-25,25)
plt.legend()
还有一种方法可以用来理解正则化的影响，就是固定alpha值，但改变训练数据量
我们对波士顿房价数据做二次抽样，并在数据量逐渐增加的子数据集上分别对LinearnRegression和Ridge（alpha=1）两个模型进行评估（将模型性能作为数据集大小的函数进行绘图，这样的图像叫作学习曲线）
- 无论是岭回归还是线性回归，所有数据集大小对应的训练分数都要高于测试分数。
- 由于岭回归是正则化的，因此它的训练分数要整体低于线性回归的训练分数。但岭回归的测试分数要更高，特别是对较小的子数据集。
- 如果少于400个数据点，线性回归学不到任何内容。
- 随着模型可用的数据越来越多，两个模型的性能都在提升，最终线性回归的性能能追上岭回归。
- 如果有足够多的训练数据，正则化变得不那么重要，并且岭回归和线性回归都具有相同的性能
4. Lasso
与岭回归相同，使用Lasso也是约束系数使其接近于0，但用的是L1正则化。结果是某些系数刚好为0，这说明某些特征被模型完全忽略。
可以看作是一种自动化的特征选择，某些系数刚好为0，这样模型更容易解释，也可以呈现模型最重要的特征。
#Lasso
from sklearn.linear_model import Lasso
from sklearn.model_selection import train_test_split
X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
lasso = Lasso().fit(X_train, y_train)
print("Training set score: {:.2f}".format(lasso.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lasso.score(X_test, y_test)))
print("Number of features used: {}".format(np.sum(lasso.coef_!= 0)))
输出结果：
Training set score: 0.29
Test set score: 0.21
Number of features used: 4
Lasso在训练集与测试集上的表现都很差，这表示存在欠拟合，我们发现模型只用到了105个特征中的4个
正则化参数alpha可以控制系数趋于0的强度，为了降低欠拟合，我们尝试减小alpha，同时还需要增加max_iter的值（运行迭代的最大次数）
#系数比较
lasso001 = Lasso(alpha=0.01, max_iter=100000).fit(X_train, y_train)
print("Training set score: {:.2f}".format(lasso001.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lasso001.score(X_test, y_test)))
print("Number of features used: {}".format(np.sum(lasso001.coef_!= 0)))
lasso00001 = Lasso(alpha=0.0001, max_iter=100000).fit(X_train, y_train)
print("Training set score: {:.2f}".format(lasso00001.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lasso00001.score(X_test, y_test)))
print("Number of features used: {}".format(np.sum(lasso00001.coef_!= 0)))
plt.plot(lasso.coef_, 's', label="Lasso alpha=1")
plt.plot(lasso001.coef_, '^', label="Lasso alpha=0.01")
plt.plot(lasso00001.coef_, 'v', label="Lasso alpha=0.0001")
plt.plot(ridge01.coef_, 'o', label="Ridge alpha=0.1")
plt.legend(ncol=2, loc=(0,1.05))
plt.ylim(-25,25)
plt.xlabel("Coefficient index")
plt.ylabel("Coefficient magnitude")
输出结果：
alpha=0.01：
Training set score: 0.90
Test set score: 0.77
Number of features used: 33
alpha=0.0001：
Training set score: 0.95
Test set score: 0.64
Number of features used: 96
对不同模型的系数进行作图：
alpha值变小，我们可以拟合一个更复杂的模型，在训练集和测试集上的表现也更好。模型性能比使用Ridge时略好一点，而且我们只用到了105个特征中的33个，这样模型可能更容易理解。
但如果把alpha设得太小，那么就会消除正则化的效果，并出现过拟合，得到与LinearRegression类似的结果
在实践中，在两个模型中一般首选岭回归，但如果特征很多，且其中只有几个是重要的，那么选择Lasso可能更好。同样，如果想要一个容易解释的模型，Lasso可以给出更容易理解的模型，因为它只选择了部分输入特征
扫一扫
207
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
