1、用于回归的线性模型
线性模型的预测公式一般为:
y = w[0]*x[0]+w[1]*x[1]+ ··· +w[p]*x[p]+b
上面的公式中,x[0]到x[p]标识的是单个数据的特征,w[0]到w[p]是对应特征的权重,y是预测结果,b是偏移量。
如果是单一变量,公式就变为:
y = w*x + b
就变成一条直线方程,这时候w就是斜率,b是截距。
'''
1、用于回归的线性模型
单一特征的线性回归
'''
def linear_mglearn_wave():
mglearn.plots.plot_linear_regression_wave()
plt.show()
![7820436-a1d39c0334450187.png](https://i-blog.csdnimg.cn/blog_migrate/44187219ddd21542fdbba9420f35673b.webp?x-image-process=image/format,png)
直线.png
单一特征的预测结果是一条直线,两个特征的预测结果是一个平面,更多特征就是超平面。下面介绍最常见的线性回归模型。
2、线性回归(普通最小二乘法)
线性回归,或者普通最小二乘法(OLS),是回归问题最简单的线性方法。线性回归寻找参数w和b,使得对训练集的预测值与真实的回归目标值y之间的均方误差最小。均方误差是预测值与真实值之差的平方和除以样本数。
'''
2、线性回归,普通最小二乘法
'''
def LinearRegression_method():
# ***** 欠拟合
# X, y = mglearn.datasets.make_wave(n_samples=60)
# X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=42)
# lr = LinearRegression().fit(X_train, y_train)
#
# print("斜率(特征权重) lr.coef_: {}".format(lr.coef_))
# print("偏移(截距) lr.intercept_: {}".format(lr.intercept_))
# # lr.coef_是一个数组,原因是因为当多个特征时,返回的就是多个特征对应的权重
#
# print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
# print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
# 根据训练结果和测试结果,认为是欠拟合
# ***** 过拟合
X, y = mglearn.datasets.load_extended_boston()
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=0)
lr = LinearRegression().fit(X_train, y_train)
print("Training set score: {:.2f}".format(lr.score(X_train, y_train)))
print("Test set score: {:.2f}".format(lr.score(X_test, y_test)))
# 根据训练结果和测试结果,认为是过拟合
这里有两组输出:
上面4个:
斜率(特征权重) lr.coef_: [0.39390555]
偏移(截距) lr.intercept_: -0.031804343026759746
Training set score: 0.67
Test set score: 0.66
下面2个:
Training set score: 0.95
Test set score: 0.61
这里用了两种不同的数据。先说上面的一组数据;
这组数据最后训练分数和测试分数很相近,这说明欠拟合,而不是过拟合。这是因为一维数据,训练模型很简单,很难出现过拟合。
而下面一组数据,其特征值很多,也就是高维度的数据。最后的得分,训练集和测试集的性能差异是过拟合的明显标志。
通过这两组数据,我们发现在训练过程中,我们无法控制训练模型的复杂度。那么我们需要可以控制复杂度的训练模型。