三、欠拟合和过拟合

最新推荐文章于 2022-11-24 22:57:19 发布
最新推荐文章于 2022-11-24 22:57:19 发布
阅读量460 收藏 1
点赞数
分类专栏： 机器学习 python 深度学习 文章标签： python 机器学习 深度学习 过拟合 欠拟合
本文为博主原创文章，未经博主允许禁止转载。如有问题，欢迎指正。
本文链接：https://blog.csdn.net/weixin_41529012/article/details/116592269
版权

多项式拟合实例

导入必要的模块

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.preprocessing import StandardScaler
from sklearn.preprocessing import PolynomialFeatures
from sklearn.linear_model import LinearRegression, Ridge
from sklearn.metrics import mean_squared_error

生成数据

生成100个训练样本

# 设置随机种子
np.random.seed(34)

sample_num = 100

# 从-5到5中随机抽取100个浮点数
x_train = np.random.uniform(-5, 5, size=sample_num)

# 将x从shape为(sample_num,)变为(sample_num,1)
X_train = x_train.reshape(-1,1)

# 生成y值的实际函数
y_train_real = 0.5 * x_train ** 3 + x_train ** 2 + 2 * x_train + 1

# 生成误差值
err_train = np.random.normal(0, 5, size=sample_num)

# 真实y值加上误差值，得到样本的y值
y_train = y_train_real + err_train

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g', label='train dataset')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

生成测试集

# 设置随机种子
np.random.seed(12)

sample_num = 100

# 从-5到5中随机抽取100个浮点数
x_test = np.random.uniform(-5, 5, size=sample_num)

# 将x从shape为(sample_num,)变为(sample_num,1)
X_test = x_test.reshape(-1,1)

# 生成y值的实际函数
y_test_real = 0.5 * x_test ** 3 + x_test ** 2 + 2 * x_test + 1

# 生成误差值
err_test = np.random.normal(0, 5, size=sample_num)

# 真实y值加上误差值，得到样本的y值
y_test = y_test_real + err_test

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

问题：加入我们不知道生成样本的函数，如何用线性回归模型拟合这些样本？

多项式模型拟合

1阶线性模型拟合

# 线性回归模型训练
reg1 = LinearRegression()
reg1.fit(X_train, y_train)

# 模型预测
y_train_pred1 = reg1.predict(X_train)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g', label='train dataset')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred1[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

直线太过简单，不能很好地描述数据的变化关系。

3阶多项式模型拟合

使用到的api：

创建多项式特征sklearn.preprocessing.PolynomialFeatures

用到的参数：

  • degree：设置多项式特征的阶数，默认2。

  • include_bias：是否包括偏置项，默认True。

使用fit_transform函数对数据做处理。

特征标准化sklearn.preprocessing.StandardScaler(减去均值除再除以标准差)

使用fit_transform函数对数据做处理。

# 生成多项式数据
poly = PolynomialFeatures(degree=3, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_train_poly_scaled = scaler.fit_transform(X_train_poly)

# 线性回归模型训练
reg3 = LinearRegression()
reg3.fit(X_train_poly_scaled, y_train)

# 模型预测
y_train_pred3 = reg3.predict(X_train_poly_scaled)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g', label='train dataset')

# 画出实际函数曲线
# plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred3[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

曲线拟合得非常不错。

10阶多项式模型拟合

# 生成多项式数据
poly = PolynomialFeatures(degree=10, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_train_poly_scaled = scaler.fit_transform(X_train_poly)

# 线性回归模型训练
reg10 = LinearRegression()
reg10.fit(X_train_poly_scaled, y_train)

# 模型预测
y_train_pred10 = reg10.predict(X_train_poly_scaled)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g', label='train dataset')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred10[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

曲线拟合得也还可以。

30阶多项式模型拟合

# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_train_poly_scaled = scaler.fit_transform(X_train_poly)

# 线性回归模型训练
reg30 = LinearRegression()
reg30.fit(X_train_poly_scaled, y_train)

# 模型预测
y_train_pred30 = reg30.predict(X_train_poly_scaled)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g', label='train dataset')

# 画出实际函数曲线
# plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred30[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

曲线变得弯曲而复杂，把训练样本点的噪声变化也学习到了。

指标对比

# 计算MSE
mse1 = mean_squared_error(y_train_pred1, y_train)
mse3 = mean_squared_error(y_train_pred3, y_train)
mse10 = mean_squared_error(y_train_pred10, y_train)
mse30 = mean_squared_error(y_train_pred30, y_train)

# 打印结果
print('MSE:')
print('1 order polynomial: {:.2f}'.format(mse1))
print('3 order polynomial: {:.2f}'.format(mse3))
print('10 order polynomial: {:.2f}'.format(mse10))
print('30 order polynomial: {:.2f}'.format(mse30))

MSE:
1 order polynomial: 149.92
3 order polynomial: 24.32
10 order polynomial: 23.64
30 order polynomial: 15.05

训练集mse指标从好到坏的模型是：30阶多项式、10阶多项式、3阶多项式、1阶多项式。

测试集检验

1阶线性模型预测

# 模型预测
y_test_pred1 = reg1.predict(X_test)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred1[np.argsort(x_test)], color='r', label='1 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

3阶多项式模型预测

# 生成多项式数据
poly = PolynomialFeatures(degree=3, include_bias=False)
X_test_poly = poly.fit_transform(X_test)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_test_poly_scaled = scaler.fit_transform(X_test_poly)

# 模型预测
y_test_pred3 = reg3.predict(X_test_poly_scaled)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred3[np.argsort(x_test)], color='r', label='3 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

10阶多项式模型预测

# 生成多项式数据
poly = PolynomialFeatures(degree=10, include_bias=False)
X_test_poly = poly.fit_transform(X_test)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_test_poly_scaled = scaler.fit_transform(X_test_poly)

# 模型预测
y_test_pred10 = reg10.predict(X_test_poly_scaled)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred10[np.argsort(x_test)], color='r', label='10 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

30阶多项式模型预测

# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_test_poly = poly.fit_transform(X_test)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_test_poly_scaled = scaler.fit_transform(X_test_poly)

# 模型预测
y_test_pred30 = reg30.predict(X_test_poly_scaled)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred30[np.argsort(x_test)], color='r', label='30 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

指标对比

# 计算MSE
mse1 = mean_squared_error(y_test_pred1, y_test)
mse3 = mean_squared_error(y_test_pred3, y_test)
mse10 = mean_squared_error(y_test_pred10, y_test)
mse30 = mean_squared_error(y_test_pred30, y_test)

# 打印结果
print('MSE:')
print('1 order polynomial: {:.2f}'.format(mse1))
print('3 order polynomial: {:.2f}'.format(mse3))
print('10 order polynomial: {:.2f}'.format(mse10))
print('30 order polynomial: {:.2f}'.format(mse30))

MSE:
1 order polynomial: 191.05
3 order polynomial: 39.71
10 order polynomial: 41.00
30 order polynomial: 85.45

测试集mse指标从好到坏的模型是：3阶多项式、10阶多项式、30阶多项式、1阶多项式。

欠拟合和过拟合

欠拟合（Underfitting）：选择的模型过于简单，以致于模型对训练集和未知数据的预测都很差的现象。

过拟合（Overfitting）：选择的模型过于复杂（所包含的参数过多），以致于模型对训练集的预测很好，但对未知数据预测很差的现象（泛化能力差）。

过拟合常见解决方法

增加训练样本数目
生成200个训练样本
# 设置随机种子
np.random.seed(34)

sample_num = 200

# 从-10到10中随机抽取200个浮点数
x_train = np.random.uniform(-10, 10, size=sample_num)

# 将x从shape为(sample_num,)变为(sample_num,1)
X_train = x_train.reshape(-1,1)

# 生成y值的实际函数
y_train_real = 0.5 * x_train ** 3 + x_train ** 2 + 2 * x_train + 1

# 生成误差值
err_train = np.random.normal(0, 5, size=sample_num)

# 真实y值加上误差值，得到样本的y值
y_train = y_train_real + err_train

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

30阶多项式模型训练
# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_train_poly_scaled = scaler.fit_transform(X_train_poly)

# 线性回归模型训练
reg30 = LinearRegression()
reg30.fit(X_train_poly_scaled, y_train)

# 模型预测
y_train_pred30 = reg30.predict(X_train_poly_scaled)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred30[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

# 计算MSE
mse = mean_squared_error(y_train_pred30, y_train)
print('MSE: {}'.format(mse))

在这里插入图片描述

MSE: 24.924693781595153
30阶多项式模型预测
# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_test_poly = poly.fit_transform(X_test)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_test_poly_scaled = scaler.fit_transform(X_test_poly)

# 模型预测
y_test_pred30 = reg30.predict(X_test_poly_scaled)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred30[np.argsort(x_test)], color='r', label='30 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

计算MSE
mse30 = mean_squared_error(y_test_pred30, y_test)

# 打印结果
print('MSE:')
print('30 order polynomial: {:.2f}'.format(mse30))

MSE:
30 order polynomial: 32.32
在目标函数中增加正则项
查看回归系数

将结果转换为pd.DataFrame表格形式

coef1 = pd.DataFrame(reg1.coef_, index=['w1'], columns=['coef'])
coef3 = pd.DataFrame(reg3.coef_, index=['w1', 'w2', 'w3'], columns=['coef'])
coef10 = pd.DataFrame(reg10.coef_, index=['w'+str(i) for i in range(1,11)], columns=['coef'])
coef30 = pd.DataFrame(reg30.coef_, index=['w'+str(i) for i in range(1,31)], columns=['coef'])

1阶多项式模型参数

coef1
coef
w19.900252

3阶多项式模型参数

coef3
coef
w17.789175
w27.000036
w325.295452

10阶多项式模型参数

coef10
coef
w17.998547
w24.203915
w320.728305
w415.694967
w510.679321
w6-53.302415
w7-5.051154
w872.956004
w9-1.464603
w10-32.583643

30阶多项式模型参数

coef30
coef
w11.274825e+01
w2-1.515071e+02
w3-2.784062e+02
w49.881947e+03
w58.313355e+03
w6-2.294226e+05
w7-1.443295e+05
w82.805398e+06
w91.540533e+06
w10-2.094909e+07
w11-1.036432e+07
w121.035820e+08
w134.594186e+07
w14-3.558672e+08
w15-1.390464e+08
w168.741809e+08
w172.938075e+08
w18-1.558118e+09
w19-4.373421e+08
w202.020758e+09
w214.563577e+08
w22-1.888828e+09
w23-3.264643e+08
w241.240156e+09
w251.523610e+08
w26-5.429771e+08
w27-4.173929e+07
w281.424089e+08
w295.084136e+06
w30-1.693219e+07

模型太复杂（阶数过多），发生过拟合时，系数绝对值往往会很大，输入x的很小变化都可能带来输出y较大的变化，导致函数变化剧烈。

训练Ridge回归（加L2正则）

使用到的api：

加L2正则的线性回归sklearn.linear_model.Ridge

用到的参数：

  • alpha：惩罚项，默认1.0。
# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_train_poly = poly.fit_transform(X_train)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_train_poly_scaled = scaler.fit_transform(X_train_poly)

# 线性回归模型训练
ridge30 = Ridge(alpha=1e-5)
ridge30.fit(X_train_poly_scaled, y_train)

# 模型预测
y_train_pred30 = ridge30.predict(X_train_poly_scaled)

# 画出样本的散点图
plt.scatter(x_train, y_train, marker='o', color='g')

# 画出实际函数曲线
plt.plot(np.sort(x_train), y_train_real[np.argsort(x_train)], color='b', label='real curve')

# 画出预测函数曲线
plt.plot(np.sort(x_train), y_train_pred30[np.argsort(x_train)], color='r', label='prediction curve')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

# 计算MSE
mse = mean_squared_error(y_train_pred30, y_train)
print('MSE: {}'.format(mse))

在这里插入图片描述

MSE: 22.402223562860904
查看加正则后的回归系数

将结果转换为pd.DataFrame表格形式

coef30 = pd.DataFrame(ridge30.coef_, index=['w'+str(i) for i in range(1,31)], columns=['coef'])

coef30
coef
w110.011475
w23.557561
w3-4.055929
w47.173610
w5100.444037
w626.619616
w7-75.014554
w8-90.566477
w9-182.926719
w10-16.985565
w11172.986261
w12101.786157
w13257.743919
w14114.148735
w1514.865358
w1611.446063
w17-256.410160
w18-117.329198
w19-313.210519
w20-169.444870
w21-113.923505
w22-95.081604
w23205.527433
w2473.135599
w25413.318846
w26222.862257
w27261.405747
w28183.223254
w29-458.772050
w30-248.055649
模型检验
# 生成多项式数据
poly = PolynomialFeatures(degree=30, include_bias=False)
X_test_poly = poly.fit_transform(X_test)

# 数据标准化（减均值除标准差）
scaler  = StandardScaler()
X_test_poly_scaled = scaler.fit_transform(X_test_poly)

# 模型预测
y_test_pred30 = ridge30.predict(X_test_poly_scaled)

# 画出样本的散点图
plt.scatter(x_test, y_test, marker='o', color='c', label='test dataset')

# 画出预测函数曲线
plt.plot(np.sort(x_test), y_test_pred30[np.argsort(x_test)], color='r', label='30 order')
plt.legend()
plt.xlabel('x')
plt.ylabel('y')
plt.show()

在这里插入图片描述

计算MSE
mse30 = mean_squared_error(y_test_pred30, y_test)

# 打印结果
print('MSE:')
print('30 order polynomial: {:.2f}'.format(mse30))

MSE:
30 order polynomial: 28.80
星辰同学wwq
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 5
    评论
专栏目录
机器学习--scikit-learn（4）---过拟合与模型保存
嗒獭想睡觉
08-28 389
此文章要讲的是如何判断模型是否过拟合，如何修正它，以及修正好的模型，如何保存，以便留到下次使用。 首先要先搞清楚一个概念，什么是过拟合？ 1，过拟合，欠拟合概念 过拟合，按照我自己的理解就是，学习得太猛了，太细枝末节了，导致自己不会举一反三，平时做题做的都是一类，练习的时候都是满分，等到考试的时候题目条件稍微一变化，就不会做了。 欠拟合，就是学的太水了，平时练习题都没最好，考试当然死得惨。...
过拟合与欠拟合
wangwei_5201314的博客
07-18 791
概念 之前，我们介绍过拟合的概念。拟合指的是构建的模型能够符合样本数据的特征。与拟合相关的两个概念是欠拟合与过拟合。 欠拟合：模型过于简单，未能充分捕获样本数据的特征。表现为模型在训练集上的效果不好。 过拟合：模型过于复杂，过分捕获样本数据的特征，从而将样本数据中一些特殊特征当成了共性特征。表现为模型在训练集上的效果非常好，但是在未知数据上的表现效果不好。 解决方案 如果产生欠拟合，可...
欠拟合和过拟合
Thumb_的博客
04-27 117
和上一节一样自定义数据集并绘制散点图： import numpy as np import matplotlib.pyplot as plt np.random.seed(666) x = np.random.uniform(-3.0, 3.0, size=100) X = x.reshape(-1, 1) y = 0.5 * x**2 + x + 2 +np.random.normal(0, 1, size=100) plt.scatter(X, y) plt.show() 使用线性回归进行拟合： f
机器学习中过拟合和欠拟合的案例代码分析
python技术专家
06-25 957
机器学习中的过拟合和欠拟合案例解析
过拟合和欠拟合问题
qq_46006468的博客
08-12 221
一、介绍 关于过拟合和欠拟合问题产生的原因及其后果，这类文章已经很多，那如何解决该问题？ 常用以下方法： # 欠拟合：增加输入项特征、增加网络参数、减少正则化参数 # 过拟合：数据清洗、增大数据集、正则化、增大正则化参数 二、正则化的作用 原理：正则化通过加入惩罚项控制参数的大小不会剧烈变化，从而使预测曲线更加平滑 组成： 加入正则化的损失函数包含两部分，一部分是原来的损失函数，另一部分是惩罚项： 类...
过拟合和欠拟合学习笔记
01-20
欠拟合 模型无法得到较低的训练误差（模型在训练数据集上表现出的误差），这一现象称作欠拟合（underfitting） 过拟合 过拟合得问题指的是模型在测试集上的结果不好，训练误差较低但是泛化误差依然较高，二者相差较...
过拟合、欠拟合学习笔记
01-06
探究模型训练中经常出现的两类典型问题： 一类是欠拟合，另一类是过拟合. 1.欠拟合 模型无法得到较低的训练误差，将这一现象成为欠拟合. 2.过拟合 模型的训练误差远小于它在测试集上的误差...影响欠拟合和过拟合的另一
keras处理欠拟合和过拟合的实例讲解
09-16
在机器学习领域，模型训练时常会遇到两种常见问题：欠拟合（Underfitting）和过拟合（Overfitting）。欠拟合是指模型在训练数据和验证数据上都表现不佳，通常是因为模型过于简单，无法捕捉数据集中的复杂模式。而过...
Pytorch之欠拟合和过拟合
01-07
Pytorch之欠拟合和过拟合 ​ 　首先，我们需要区分训练误差（ training error）和泛化误差（ generalization error）。通俗来讲，前者指模型在训练数据集上表现出的误差，后者指模型在任意⼀个测试数据样本上...
过拟合、欠拟合
01-20
过拟合和欠拟合 训练误差和泛化误差 训练误差，模型在训练集合上表现的误差。 泛化误差 ，模型在任意一个数据集上表现出来的误差的期望。 过拟合，模型训练误差远小于在测试集上的误差。 欠拟合 ，模型无法在训练集...
过拟合和欠拟合以及相对应的解决办法
lc574260570的博客
08-16 656
欠拟合：是指模型的学习能力比较低，以至于，只学到了很少的一部分信息，当进行预测的时候，会发生方差最低，和偏差较大的情况 过拟合：是指模型的学习能力比较强，以至于，直接把题给背下来了，如果考到原题，就会实现相应的预测100%，如果预测的不再训练集中，那么结果就是0. 过拟合是偏差较小，但是方差较大 上面的较小与较大是和不欠拟合也不过拟合的相比而言的，这也在某种程度上说明了，偏差 和方差是一个均...
【Python】机器学习基础数据处理
weixin_45492934的博客
07-19 319
使用sklearn和numpy
2.2sklearn.preprocessing.PolynomialFeatures生成交叉特征
weixin_30458043的博客
10-07 180
sklearn.preprocessing.PolynomialFeatures原文 多项式生成函数：sklearn.preprocessing.PolynomialFeatures(degree=2, interaction_only=False, include_bias=True) 参数说明： degree：默认为2，多项式次数(就同几元几次方程中的次数一样) interaction_on...
第四章 使用PolynomialFeatures来构建特征
热门推荐
我的博客
03-30 2万+
使用sklearn.preprocessing.PolynomialFeatures来进行特征的构造。它是使用多项式的方法来进行的，如果有a，b两个特征，那么它的2次多项式为（1,a,b,a^2,ab, b^2）。PolynomialFeatures有三个参数degree：控制多项式的度interaction_only： 默认为False，如果指定为True，那么就不会有特征自己和自己结合的项，上...
欠拟合与过拟合
weixin_47197501的博客
01-08 2539
一、评价标准 MSE(均方误差)=(预测值-真实值)2/n RMSE(均方根误差)=√￣MSE R2=1-MSE/var(y) ——R2表示拟合程度，R2越大，越接近1表示拟合程度越好；R2越小，越接近0表示拟合程度越差。 二、欠拟合与过拟合 过拟合：模型在训练集中的MSE非常小而在测试集中的MSE非常大。当数据对应的最好的模型是X的2次方而你选定的模型是X的3次方以及以上就容易产生这种情况。 欠拟合：模型在训练集与测试集中的MS ...
多项式特征生成--PolynomialFeatures类
m0_54510474的博客
11-24 1543
多项式特征生成--PolynomialFeatures类api简介
Lasso 和 Ridge回归中的超参数调整技巧
deephub
05-17 1万+
在这篇文章中，我们将首先看看Lasso和Ridge回归中一些常见的错误，然后我将描述我通常采取的步骤来优化超参数。代码是用Python编写的，我们主要依赖scikit-learn。本文章主要关注Lasso的例子，但其基本理论与Ridge非常相似。 起初，我并没有真正意识到需要另一个关于这个主题的指南——毕竟这是一个非常基本的概念。然而，当我最近想要确认一些事情时，我意识到，市面上的很多文章要么太学术化，要么太简单，要么就是完全错误。一个很常见的混淆来源是，在sklearn中总是有十多种不同的方法来计算同一件
神经网络与深度学习（三）线性回归与多项式回归
weixin_53651790的博客
09-14 2387
使用pytorch进行线性回归与多项式回归，并实现波士顿房价预测。
欠拟合和过拟合的例子
最新发布
12-19
欠拟合和过拟合是机器学习中常见的问题，它们分别代表了模型对训练数据的拟合程度不足和过度。举例来说： 1. 欠拟合的例子： 当一个线性模型被用来拟合非线性数据时，由于模型复杂度不够，可能导致欠拟合。比如，...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

星辰同学wwq

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值