python线性加权模型_Python机器学习——线性模型

线性模型

1.用于回归的线性模型

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

import mglearn

mglearn.plots.plot_linear_regression_wave()

w[0]: 0.393906 b: -0.031804线性模型对wave数据集的预测结果

用于回归的线性模型可以表示为这样的回归模型：对单一特征的预测结果是一条直线，两个特征时是一个平面，或者在更高维度(即更多特征)时是一个超平面。

2. 线性回归(普通最小二乘法)

线性回归寻找参数w和b，使得对训练集的预测值与真实的回归目标值y之间的均方误差最小。

均方误差是预测值与真实值之差的平方和初一样本数。

线性回归没有参数，这是一个优点，但也因此无法控制模型的复杂度。

from sklearn.model_selection import train_test_split

from sklearn.linear_model import LinearRegression

X,y = mglearn.datasets.make_wave(n_samples=60)

X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=42)

lr = LinearRegression().fit(X_train,y_train)

“斜率”参数(w，也叫作权重或系数)被保存在coef_属性中，而偏移或截距(b)被保存在intercept_属性中：

print("lr.coef_:{}".format(lr.coef_))

print("lr.intercept_:{}".format(lr.intercept_))

lr.coef_:[0.39390555]

lr.intercept_:-0.031804343026759746

#查看训练集和测试集的性能：

print("Trainning set score:{:.2f}".format(lr.score(X_train,y_train)))

print("Test set score:{:.2f}".format(lr.score(X_test,y_test)))

Trainning set score:0.67

Test set score:0.66

看一下LinearRegression在更复杂的数据集上的表现，比如波士顿房价数据集。

X,y = mglearn.datasets.load_extended_boston()

X_train,X_test,y_train,y_test = train_test_split(X,y,random_state=0)

lr = LinearRegression().fit(X_train,y_train)

print("Trainning set score:{:.2f}".format(lr.score(X_train,y_train)))

print("Test set score:{:.2f}".format(lr.score(X_test,y_test)))

Trainning set score:0.95

Test set score:0.61

比较一下训练集和测试集的分数就可以发现，我们在训练集上的预测非常准确，但在测试集上的R2要低很多。

训练集和测试集之间的性能差异是过拟合的明显标识。因此我们应该试图找到一个可以控制复杂度的模型。标准线性回归最常用的替代方法之一就是岭回归。

3. 岭回归

岭回归也是一种用于回归的线性模型，因此它的预测公式与普通最小二乘法相同。但在岭回归中，对系数(w)的选择不仅要在训练数据上得到好的预测结果，而且还要拟合附加约束。我们还希望系数尽量小。换句话说，w的所有元素都应接近于0.直观上来看，这意味着每个特征对输出的影响应尽可能小(即斜率很小)，同时仍给出很好的预测结果。这种约束是所谓正则化(regularization)的一个例子。正则化是指对模型做显式约束，以避免过拟合。岭回归用到的这种被称为L2正则化。

'''岭回归在linear_model.Ridge中实现。对扩展的波士顿房价数据集的效果：'''

from sklearn.linear_model import Ridge

ridge = Ridge().fit(X_train,y_train)

print("Trainning set score:{:.2f}".format(ridge.score(X_train,y_train)))

print("Test set score:{:.2f}".format(ridge.score(X_test,y_test)))

Trainning set score:0.89

Test set score:0.75

Ridge在训练集上的分数要低于LinearRegression,但在测试集上的分数更高。这与我们的预期一致，线性回归对数据存在过拟合。Ridge是一种约束更强的模型，所以更不容易过拟合。复杂度更小的模型意味着在训练集上的性能更差，但泛化性能更好。由于我们只对泛化性能感兴趣，所以应该选择Ridge模型而不是LinearRegression模型。

Ridge模型在模型的简单性(系数都接近于0)与训练集性能之间做出权衡。简单性和训练集性能二者对于模型的重要程度可以由用户通过设置alpha参数来指定。在前面例子中，我们用的是默认参数alpha=1.0，但没有理由认为这会给出最佳权衡。alpha的最佳设定值取决于用到的具体数据集。增大alpha会使得系数更加趋向于0，从而降低训练集性能，但可能会提高泛化性能。例如：

ridge10 = Ridge(alpha=10).fit(X_train,y_train)

print("Trainning set score:{:.2f}".format(ridge10.score(X_train,y_train)))

print("Test set score:{:.2f}".format(ridge10.score(X_test,y_test)))

Trainning set score:0.79

Test set score:0.64

减小alpha可以让系数受到的限制更小。对于非常小的alpha值，系数几乎没有受到限制，我们得到一个与LinearRegression类似的模型：

ridge01 = Ridge(alpha=0.1).fit(X_train,y_train)

print("Trainning set score:{:.2f}".format(ridge01.score(X_train,y_train)))

print("Test set score:{:.2f}".format(ridge01.sc