【python机器学习】线性回归 拟合 欠拟合与过拟合 以及波士顿房价预估案例

最新推荐文章于 2024-11-11 21:30:41 发布
最新推荐文章于 2024-11-11 21:30:41 发布
阅读量1.6k 收藏 14
点赞数 38
分类专栏： 机器学习 文章标签： python 机器学习 线性回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_57336987/article/details/142796532
版权

文章目录

线性回归之波士顿房价预测案例 欠拟合与过拟合

线性回归API 介绍:

在这里插入图片描述

波士顿房价预测

数据属性:

在这里插入图片描述

机器学习代码实现

1.导入库

from sklearn.preprocessing import StandardScaler        # 特征处理
from sklearn.model_selection import train_test_split    # 数据集划分
from sklearn.linear_model import LinearRegression       # 正规方程的回归模型
from sklearn.linear_model import SGDRegressor           # 梯度下降的回归模型
from sklearn.metrics import mean_squared_error          # 均方误差评估
# from sklearn.datasets import load_boston                # 数据

注意在新版本sklearn中上述读取数据方式失效通过下面方法读取数据

import pandas as pd
import numpy as np

data_url = "http://lib.stat.cmu.edu/datasets/boston"
raw_df = pd.read_csv(data_url, sep="\\s+", skiprows=22, header=None)
data = np.hstack([raw_df.values[::2, :], raw_df.values[1::2, :2]])
target = raw_df.values[1::2, 2]

2.模型代码实现

# 正规方程法
def demo01():
    # 数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.2)
    # 特征工程 特征预处理
    transfer = StandardScaler()  # 创建标准化对象
    # 标准化 训练集 测试集
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 模型训练
    estimator = LinearRegression()  # 线性回归模型对象
    estimator.fit(x_train, y_train)
    # 模型预测
    y_predict = estimator.predict(x_test)

    # 和测试集的标签进行比较
    # 1.均方误差
    print("均方误差的误差为:", mean_squared_error(y_test, y_predict))
    # 2.平均绝对误差
    print("平均绝对误差的误差为:", mean_absolute_error(y_test, y_predict))
    # 3.均方根误差
    print("均方根误差的误差为:", root_mean_squared_error(y_test, y_predict))


# 梯度下降法
def demo02():
    # 数据集划分
    x_train, x_test, y_train, y_test = train_test_split(data, target, test_size=0.2)
    # 特征工程 特征预处理
    transfer = StandardScaler()
    x_train = transfer.fit_transform(x_train)
    x_test = transfer.transform(x_test)

    # 模型训练
    estimator = SGDRegressor(max_iter=1000, learning_rate='constant',
                             eta0=0.001)  # 获取梯度下降模型对象 max_iter 最大次数 eta0 学习率 ,learning_rate='constant' 设置学习率为常数
    estimator.fit(x_train, y_train)
    # 模型预测
    y_predict = estimator.predict(x_test)

    # 模型评估
    # 1.均方误差
    print("均方误差的误差为:", mean_squared_error(y_test, y_predict))
    # 2.平均绝对误差
    print("平均绝对误差的误差为:", mean_absolute_error(y_test, y_predict))
    # 3.均方根误差
    print("均方根误差的误差为:", root_mean_squared_error(y_test, y_predict))

运行结果 上为标准函数 下为梯度下降

在这里插入图片描述

拟合 过拟合 欠拟合 模拟 及处理方法(正则化处理)

在这里插入图片描述

导包

import numpy as np
import matplotlib.pyplot as plt
from sklearn.linear_model import LinearRegression
from sklearn.metrics import mean_squared_error  # 计算均方误差
from sklearn.model_selection import train_test_split
from sklearn.linear_model import Ridge, Lasso

定义函数表示欠拟合

欠拟合出现的原因:学习到数据的特征过少

解决方法: 【从数据、模型、算法的角度去想解决方案】

​ 添加其他特征
​ 有时出现欠拟合是因为特征项不够导致的，可以添加其他特征项来解决
​ “组合”、“泛化”、“相关性”三类特征是特征添加的重要手段
​ 添加多项式特征项
​ 模型过于简单时的常用套路，例如将线性模型通过添加二次项或三次项使模型泛化能力更强

def demo01():
    # 准备数据
    # 准备噪声
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 0.5x^2 +x +  2 + 正态分布 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)

    # 模型训练
    # 创建线性回归方程对象
    estimator = LinearRegression()
    # 训练
    estimator.fit(x.reshape(-1, 1), y)
    # 根据模型预测
    y_predict = estimator.predict(x.reshape(-1, 1))
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 这里看到均方误差正常 但是实际上欠拟合 画图
    plt.scatter(x, y) # x,y散点图
    plt.plot(x, y_predict, color='red') # 拟合回归线 即预测值
    plt.show()

在这里插入图片描述

根据数据可视化结果发现 均方误差正常,但是可视化结果表示模型欠拟合,用一次方程拟合二次

需要提升模型维度,增加特征值

定义函数表示拟合

在demo01 的基础上 对x 增加维度 即 拼接x和x^2 使得拟合回归线为2次方程

def demo02():
    # 准备数据
    # 准备噪声
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 0.5x^2 +x +  2 + 正态分布 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
    x_reshape = x.reshape(-1, 1)
    x2 = np.hstack([x_reshape, x_reshape ** 2])  # 拼接x和x的平方 增加模型维度
    # 模型训练
    # 创建线性回归方程对象
    estimator = LinearRegression()
    # 训练
    estimator.fit(x2, y)

    # 根据模型预测
    y_predict = estimator.predict(x2)
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 这里看到均方误差正常 但是实际上欠拟合 画图
    plt.scatter(x, y)  # x,y散点图
    plt.plot(x, y_predict, color='red')  # 拟合回归线 即预测值
    plt.show()

数据可视化结果虽然拟合曲线出来了,但是因为没有对散点排序,导致绘制时没有按顺序连接

在这里插入图片描述

def demo02():
    # 准备数据
    # 准备噪声
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 0.5x^2 +x +  2 + 正态分布 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
    x_reshape = x.reshape(-1, 1)
    x2 = np.hstack([x_reshape, x_reshape ** 2])  # 拼接x和x的平方 增加模型维度
    # 模型训练
    # 创建线性回归方程对象
    estimator = LinearRegression()
    # 训练
    estimator.fit(x2, y)

    # 根据模型预测
    y_predict = estimator.predict(x2)
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 这里看到均方误差正常 但是实际上欠拟合 画图
    plt.scatter(x, y)  # x,y散点图
    plt.plot(np.sort(x), y_predict[np.argsort(x)], color='red')  # 拟合回归线 即预测值
    plt.show()

排序后正确的拟合线

在这里插入图片描述

定义函数表示过拟合

过拟合出现的原因:

  • 原始特征过多，存在一些嘈杂特征， 模型过于复杂是因为模型尝试去兼顾各个测试数据点

解决办法:

  • 重新清洗数据
    • 对于过多异常点数据、数据不纯的地方再处理
  • 增大数据的训练量
    • 对原来的数据训练的太过了，增加数据量的情况下，会缓解
      正则化
  • 解决模型过拟合的方法，在机器学习、深度学习中大量使用
    减少特征维度，防止维灾难
  • 由于特征多，样本数量少，导致学习不充分，泛化能力差。

在demo02 函数上继续增加维度 会导致模型会兼顾每个测试点,导致过拟合

def demo03():
    # 准备数据
    # 准备噪声
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 0.5x^2 +x +  2 + 正态分布 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)
    x_reshape = x.reshape(-1, 1)
    x2 = np.hstack(
        [x_reshape, x_reshape ** 2, x_reshape ** 3, x_reshape ** 4, x_reshape ** 5, x_reshape ** 6, x_reshape ** 7,
         x_reshape ** 8, x_reshape ** 9, x_reshape ** 10, x_reshape ** 11, x_reshape ** 12, x_reshape ** 13,
         x_reshape ** 14, x_reshape ** 15, x_reshape ** 16, x_reshape ** 17, x_reshape ** 18,
         x_reshape ** 19])  # 拼接x和x的平方 增加模型维度
    # 模型训练
    # 创建线性回归方程对象
    estimator = LinearRegression()
    # 训练
    estimator.fit(x2, y)

    # 根据模型预测
    y_predict = estimator.predict(x2)
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 这里看到均方误差正常 但是实际上欠拟合 画图
    plt.scatter(x, y)  # x,y散点图
    plt.plot(np.sort(x), y_predict[np.argsort(x)], color='red')  # 拟合回归线 即预测值
    plt.show()

过拟合展示

在这里插入图片描述

正则化处理过拟合

在这里插入图片描述

L1正则化

在这里插入图片描述

在demo03基础上 将线性回归模型对象改为l1正则化线性回归模型对象

def demo04():
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 2x + 3 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)

    # 模型训练
    # 创建 线性回归 L1 正则化 模型对象
    estimator = Lasso(alpha=0.1)  # alpha 正则化参数 值越大 正则化程度越大
    # 对数据集做处理

    # print("处理前:", x)
    X = x.reshape(-1, 1)
    # print("处理后:", X)
    # 拼接 x 和 x 的平方
    X2 = np.hstack(
        [X, X ** 2, X ** 3, X ** 4, X ** 5, X ** 6, X ** 7, X ** 8, X ** 9, X ** 10, X ** 11, X ** 12, X ** 13, X ** 14,
         X ** 15, X ** 16, X ** 17, X ** 18, X ** 19, X ** 20])
    # print("处理后:", X2)
    # 训练
    estimator.fit(X2, y)
    # 预测
    y_predict = estimator.predict(X2)
    print("预测值:", y_predict)
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 数据可视化 绘制图像
    print(np.sort(x))
    print(np.argsort(x))
    plt.scatter(x, y)  # 基于原始的x,y 绘制散点图
    plt.plot(np.sort(x), y_predict[np.argsort(x)], color='red')  # 原始的x , y 预测值 绘制折线图(拟合回归线)
    plt.show()

l1正则化过后的曲线

在这里插入图片描述

L1正则化通过改变权重,并将特殊点的权重完全改为0来避免过拟合问题

L2正则化

在这里插入图片描述

将模型改为L2正则化线性回归模型

def demo05():
    # 准备数据
    # 准备噪声
    np.random.seed(21)
    # x 表示特征
    x = np.random.uniform(-3, 3, size=100)
    # y 表示目标值 线性关系 y = 2x + 3 + 噪声
    y = 0.5 * x ** 2 + x + 2 + np.random.normal(0, 1, size=100)

    # 模型训练
    # 创建 线性回归 L2 正则化 模型对象
    estimator = Ridge(alpha=0.1)  # alpha 正则化参数 值越大 正则化程度越大
    # 对数据集做处理

    # print("处理前:", x)
    X = x.reshape(-1, 1)
    # print("处理后:", X)
    # 拼接 x 和 x 的平方
    X2 = np.hstack(
        [X, X ** 2, X ** 3, X ** 4, X ** 5, X ** 6, X ** 7, X ** 8, X ** 9, X ** 10, X ** 11, X ** 12, X ** 13, X ** 14,
         X ** 15, X ** 16, X ** 17, X ** 18, X ** 19, X ** 20])
    # print("处理后:", X2)
    # 训练
    estimator.fit(X2, y)
    # 预测
    y_predict = estimator.predict(X2)
    print("预测值:", y_predict)
    # 模型评估
    print('均方误差', mean_squared_error(y, y_predict))
    # 数据可视化 绘制图像
    print(np.sort(x))
    print(np.argsort(x))
    plt.scatter(x, y)  # 基于原始的x,y 绘制散点图
    plt.plot(np.sort(x), y_predict[np.argsort(x)], color='red')  # 原始的x , y 预测值 绘制折线图(拟合回归线)
    plt.show()

在这里插入图片描述
在这里插入图片描述

丕羽
关注
专栏目录
[Python从零到壹] 十二.机器学习之回归分析万字总结全网首发（线性回归、多项式回归、逻辑回归）
杨秀璋的专栏
07-03 4万+
前一篇文章讲述了数据分析部分，主要普及网络数据分析的基本概念，讲述数据分析流程和相关技术，同时详细讲解Python提供的若干第三方数据分析库，包括Numpy、Pandas、Matplotlib、Sklearn等。本文介绍回归模型的原理知识，包括线性回归、多项式回归和逻辑回归，并详细介绍Python Sklearn机器学习库的LinearRegression和LogisticRegression算法及回归分析实例。进入基础文章，希望对您有所帮助。
每天五分钟机器学习：通过经典的房价预测案例来讲解线性回归算法
huanfeng_AI的博客
04-08 955
比如当房子尺寸是852时，房子的价格是178，当房子的尺寸是1534时，房子的价格是315，那么现在假设我们手里有一个房子的尺寸是1000平方尺大小，那么我们能通过以上数据集评估出来房子价格吗?注意：由于这是本专栏中的第一个算法模型，我们从易到难，我们使用的数据集非常简单，只有一个样本特征（尺寸），所以我们这里介绍的线性回归模型可以称为单变量的线性回归模型。这个问题是不是很熟悉，就是初中学习的y=kx+b的问题，x就是尺寸，y就是价格，基于上述数据计算出来k和b，然后就可以代入x=1000了，求出y了。
机器学习之Python Sklearn——线性回归
MoaKap的专栏
06-01 7550
基于python sklearn的机器学习入门，常用线性回归算法等。
python绘制拟合回归散点图_机器学习之利用Python进行简单线性回归分析
weixin_39743511的博客
11-23 1840
前言：在利用机器学习方法进行数据分析时经常要了解变量的相关性，有时还需要对变量进行回归分析。本文首先对人工智能/机器学习/深度学习、相关分析/因果分析/回归分析等易混淆的概念进行区分，最后结合案例介绍如何利用Python进行简单线性回归分析。一、机器学习1.1什么是机器学习谈到机器学习，人们会很容易联想到人工智能和深度学习，我们通过这三个概念的对比来说明三者的区别和联系。人工智能Artificia...
机器学习-线性回归-python scikit-learn 房价预测
weixin_44733966的博客
02-01 3014
本教程在anaconda中的notebook进行实现，python版本3.10.9。线性回归-房价数据，scikit-learn。该模型很简单，因此可以尝试其他复杂的模型，如随机森林、决策树或集成方法。因为我们将在下一个实验中讨论这些模型。另外，需要注意的是，大多数情况下，如果您有一个简单的数据集，简单模型将工作得很好，因为复杂模型可能会过拟合数据。此外，好的模型来自好的数据，所以最好花时间整理数据，而不是在模型中来回跳来跳去。
机器学习：线性回归模型(python)
cornki的博客
07-29 3446
线性回归模型是一种用于建立输入和连续输出之间关系的模型。它假设输入和输出之间存在线性关系。该模型可以用于预测连续变量的值，例如房价、销售额、股票价格等。在线性回归模型中，成本函数（Cost function）通常采用最小二乘法（Least Square Method）来定义。
6.sklearn-线性回归、岭回归、欠拟合和过拟合
ls3614140的博客
09-08 622
Anaconda-创建虚拟环境的手把手教程相关环境配置看此篇文章，本专栏深度学习相关的版本和配置，均按照此篇文章进行安装。 1.线性回归 1.1 正规方程 正规方程函数介绍： 运行结果 运行结果 1.数据量小于10万条时，不建议使用梯度下降； 2.正规方程（LinearRegression()）不能解决拟合问题，使用的比较少； 3.SGD – 随机梯度下降（Stochastic gradient descent）是一个优化方法。它在一次迭代时只考虑一个训练样本。 优点：高效、容易实现 缺点：SGD需要许
利用python与线性回归预测房价
秋水中的鱼的博客
06-13 2837
本文利用pandas对Ames房价数据集进行数据分析，并挑选其中对房价影响程度前十的特征做了线性回归以预测房价。 一、导入数据集 import pandas as pd train_data=pd.read_csv('./train.csv') train_data Id MSSubClass MSZoning LotFrontage LotArea Street Alley
Python实现线性回归之 一元线性回归and平方损失函数
实验楼--动手做实验，轻松学IT！
08-25 1442
线性回归是一种较为简单，但十分重要的机器学习方法。掌握线性的原理及求解方法，是深入了解线性回归的基本要求。除此之外，线性回归也是监督学习的基石，希望你能最终掌握机器学习的一些重要的思想。 今天就给大家展开讲讲线性回归里的一元线性回归和平方损失函数。 线性回归介绍 回归问题旨在实现对连续值的预测，例如股票的价格、房价的趋势等。比如，下方展现了一个房屋面积和价格的对应关系图。 如上图所示，不同的房屋面积对应着不同的价格。现在，假设我手中有一套房屋想要出售，而出售时就需要预先对房屋进行估值。于是，我想通过上图，
什么是机器学习回归算法？【线性回归、正规方程、梯度下降、正则化、欠拟合和过拟合、岭回归】
「 虚幻私塾」
04-06 306
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 1 、线性回归 1.1 线性回归应用场景 房价预测 销售额度预测 金融：贷款额度预测、利用线性回归以及系数分析因子 1.2 什么是线性回归 1.2.1定义与公式 线性回归(Linear regression)是利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值
机器学习之回归算法
MxinT的博客
10-28 951
线性回归模型。损失函数及优化方法，欠拟合和过拟合
【python GUI编码入门-21】如何用Tkinter创建一个记事本应用
木头大左的博客
11-08 66
在现代编程环境中，图形用户界面（GUI）应用程序的开发变得越来越重要。Python的Tkinter库是一个功能强大且易于使用的GUI工具包，非常适合初学者和有经验的开发者使用。本文将详细介绍如何使用Tkinter创建一个简易的记事本应用，涵盖从安装到实现各项功能的全过程。Tkinter是Python的标准GUI库，它提供了丰富的接口来创建窗口、对话框、按钮等常见的GUI组件。Tkinter具有良好的跨平台性，可以在Windows、Mac OS和Linux上运行。
数据分析——学习框架
不迁怒，不贰过。小知识，大智慧。
11-11 1249
本教程旨在为读者提供一个系统化的数据分析学习框架，涵盖从数据收集、清洗、分析到可视化和报告的各个环节。通过深入探讨每个环节的理论与实践，读者将能够掌握数据分析的基本技能，提升数据处理和分析的能力。无论您是数据分析的初学者，还是希望进一步提升技能的专业人士，本教程都将为您提供有价值的指导和实用的工具，助您在数据分析的旅程中取得成功。
SpringBoot 实现图片加水印
心猿意码
11-11 283
通过上述步骤，我们可以在SpringBoot项目中实现一个简单的图片加水印功能。当然，实际应用中可能需要更复杂的水印处理，比如水印图片、调整水印位置等，可以根据需求进行相应的扩展和优化。
一次薅国家超算平台的记录
weixin_55179972的博客
11-07 407
参与 谁是下一个“AI”跃人 -AI体验推介活动，赢取千元算力券！（https://www.scnet.cn/home/subject/modular/index270.html）2. Clone开源的Llama3 Chinese （https://github.com/LlamaFamily/Llama-Chinese）活动名称主题：国家超算互联网「AI跃升季」：谁是下一个“AI”跃人 - AI算力体验活动。其中位置1，2替换为商品基模型和训练出来的微调模型。模型改为商城下载的模型。2、运行的过程记录。
推荐一款管道数据检索工具：Pipedata-Pro
11-09 360
是一款专为设计石油、天然气、水和蒸汽管道及管道系统的工程师开发的应用程序。该应用程序提供了设计管道系统所需的工程数据，拥有一个全面的管道类型、配件和材料。
Pytorch无法使用GPU的问题的原因
最新发布
m0_73640344的博客
11-11 184
从你提供的信息来看，尽管你的环境中安装了与CUDA相关的库（如libcublas等），但PyTorch还是无法使用GPU。False。
2024年华为OD机试真题-查找充电设备-C++-OD统一考试（E卷）
面试高手的博客
11-08 294
某个充电站，可提供n个充电设备只，每个充电设备均有对应的输出功率任意个充电设备组合的输出功率总和，均构成功率集合P的1个元素功率集合P的最优元素，表示最接近充电站最大输出功率pmax 的元素。每一题都含有详细的解题思路和代码注释，精编c++、JAVA、Python三种语言解法。当充电设备输出功率50、20、20组合时，其输出功率总和为90，最接近充电站最大充电输出功率，因此最优元素为90。所有充电设备的输出功率组合，均大于充电站最大充电输出功率30，此时最优元素值为0。第 2 行为每个充电设备的输出功率。
Windows Update服务设置回自动启动
sinat_38424109的博客
11-08 140
你需要执行相反的操作，即将Windows更新相关的注册表项恢复到默认状态，重新启用计划任务，并将Windows Update服务设置回自动启动。
Python数据拟合与广义线性回归实战
"本文主要介绍如何使用Python进行数据拟合和广义线性回归算法的学习。通过实例展示了如何处理回归问题，包括生成数据、拟合多项式函数和评估预测效果。" 在机器学习领域，预测问题分为回归和分类两大类。回归任务...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值