欠拟合和过拟合

1. 简介

1.1 定义

以线性回归为例

• 不划分数据集

1. 一阶线性方程

import numpy as np
import matplotlib.pyplot as plt

# 设置随机种子，使得随机的数都一样（可以不设）
np.random.seed(666)

# 1. 获取特征值
x = np.random.uniform(-3, 3, size = 100)
x

# 2. 获取目标值
# 定义表达式, 加了扰动,
# normal：表示正态分布上的点
y = 0.5 * x**2 + x + 2 + np.random.normal(0, 1, size = 100)
y 

# 3. 画出图像
plt.scatter(x, y)
plt.show()

# 1.. 特征值转化为二维
X = x.reshape(-1, 1)
X

# 2. 模型选择
from sklearn.linear_model import LinearRegression
model = LinearRegression()
model

# 3. 模型训练
model.fit(X, y)

# 4. 模型系数
model.coef_

# 5. 模型截距
model.intercept_

# 6. 模型预测
y_predict = model.predict(X) 
y_predict

# 7. 画出模型预测值和真实值
plt.scatter(x, y)
plt.plot(x, y_predict, color = 'r')
plt.show()

# 8. 模型评估
from sklearn.metrics import mean_squared_error
error = mean_squared_error(y, y_predict)
error

2. 二阶线性方程

# 1. 获取新的特征
X2 = np.hstack([X, X ** 2])
X2

# 2. 模型选择
model2 = LinearRegression()
model2

# 3. 模型训练
model2.fit(X2, y)

# 4. 模型系数
model2.coef_

# 5. 模型截距
model2.intercept_

# 6. 模型预测
y_predict2 = model2.predict(X2)
y_predict2

# 7. 画出图形，观察模型真实值和预测值
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict2[np.argsort(x)], color = 'r')
plt.show()

3. 高阶线性方程

# 1. 再次构建特征值，加入高次项
X3 = np.hstack([X2, X**3, X**4, X**5, X**6, X**7, X**8, X**9,X**10])
X3

# 2. 模型选择
model3 = LinearRegression()
model3

# 3. 模型训练
model3.fit(X3, y)

# 4. 模型系数
model3.coef_

# 5. 模型截距
model3.intercept_

# 6. 模型预测
y_predict3 = model3.predict(X3)
y_predict3

# 7. 画出预测值和真实值关系
plt.scatter(x, y)
plt.plot(np.sort(x), y_predict3[np.argsort(x)], color = 'r')
plt.show()

# 8. 模型评估
error = mean_squared_error(y, y_predict3)
error

• 划分数据集

1. X测试集的均方误差

# 1. 训练集和测试集划分
X_train, X_test, y_train, y_test = train_test_split(X, y, random_state =10)

# 2. 模型选择
model = LinearRegression()
model

# 3. 模型训练
model.fit(X_train, y_train)

# 4. 模型系数
model.coef_

# 5. 模型截距
model.intercept_

# 6. 模型预测
y_predict = model.predict(X_test)
y_predict

# 7. 模型评估
error = mean_squared_error(y_test, y_predict)
error

2. X2的测试集均方误差

# 1. 训练集合测试集划分
X_train, X_test, y_train, y_test = train_test_split(X2, y, random_state = 10)

# 2. 模型选择
model2 = LinearRegression()
model2

# 3. 模型训练
model2.fit(X_train, y_train)

# 4. 模型系数
model2.coef_

# 5. 模型截距
model2.intercept_

# 6. 模型预测
y_predict2 = model2.predict(X_test)
y_predict2

# 7. 模型评估
error = mean_squared_error(y_test, y_predict2)
error

3. X3测试集的均方误差

# 1. 训练集和测试集划分
X_train, X_test, y_train, y_test = train_test_split(X3, y, random_state = 10)

# 2. 模型选择
model3 = LinearRegression()
model3

# 3. 模型训练
model3.fit(X_train, y_train)

# 4. 模型系数
model3.coef_

`# 5. 模型截距
model3.intercept_

# 6. 模型预测
y_predict3 = model3.predict(X_test)
y_predict3

# 7. 模型评估
error = mean_squared_error(y_test, y_predict3)
error

• 欠拟合：在训练集和数据集的误差都大
  • 眼高手低，什么也没学下
  • 特征太少了
    • 添加特征
    • 添加多项式特征，泛化能力变强
• 过拟合：在训练集误差较小，而在测试集误差较大
  • 死记硬背，学的太多了
  • 特征太多了，也许存在无用的特征，也许引起了维灾难
    • 重新构造特征，合并特征
  • 训练次数太少了
    • 增加训练次数
    • 正则化（回归问题）