回归算法详解

已于 2024-06-21 13:07:47 修改
阅读量1.6k 收藏 17
点赞数 32
分类专栏： 机器学习算法详解 文章标签： 线性回归 python sklearn 算法
于 2024-06-19 09:58:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43817712/article/details/139790649
版权

回归算法详解

回归分析是一类重要的机器学习方法，主要用于预测连续变量。本文将详细讲解几种常见的回归算法，包括线性回归、岭回归、Lasso 回归、弹性网络回归、决策树回归和支持向量回归（SVR），并展示它们的特点、应用场景及其在 Python 中的实现。

一 什么是回归分析？

回归分析是一种统计方法，用于确定因变量（目标变量）和自变量（预测变量）之间的关系。回归分析的目标是建立一个模型，通过自变量预测因变量。

二 常见回归算法

1. 线性回归

线性回归是最基本的回归方法，假设因变量和自变量之间存在线性关系。线性回归的目标是找到一条直线，使得所有数据点到该直线的距离之和最小。
线性回归模型的方程为：
  y = β 0 + β 1 x 1 + β 2 x 2 + … + β n x n + ϵ   \ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n + \epsilon \  y=β0​+β1​x1​+β2​x2​+…+βn​xn​+ϵ 
其中，   β 0 \ \beta_0  β0​ 是截距，   β i \ \beta_i  βi​ 是自变量   x i \ x_i  xi​ 的回归系数，   ϵ \ \epsilon  ϵ 是误差项。

损失函数

最小化均方误差（Mean Squared Error, MSE）：
 MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2   \ \text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \  MSE=n1​i=1∑n​(yi​−y^​i​)2 

特点
  • 简单易懂：线性回归是最简单的回归模型，易于解释和实现。
  • 计算速度快：适用于大规模数据集。
  • 易于扩展：可以通过添加多项式项、交互项等扩展为更复杂的模型。
应用场景

线性回归适用于因变量和自变量之间存在线性关系的场景，例如经济学中的供求关系、工程中的温度与压力关系等。

2. 岭回归

岭回归（Ridge Regression）是一种线性回归的变种，通过在损失函数中加入   L 2 \ L2  L2 正则化项来防止过拟合。

岭回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∑ j = 1 n β j 2   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^n \beta_j^2 \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λj=1∑n​βj2​ 
其中， λ \lambda λ是正则化参数。

特点
  • 防止过拟合：通过正则化项控制模型的复杂度，防止过拟合。
  • 处理共线性：适用于自变量之间存在较强相关性的情况。
  • 参数选择：需要调优正则化参数 λ \lambda λ。
应用场景

岭回归适用于高维数据集和自变量之间存在共线性的场景，如基因表达数据分析、文本数据分类等。

3. Lasso 回归

Lasso 回归（Least Absolute Shrinkage and Selection Operator Regression）通过加入 L 1 L1 L1 正则化项来防止过拟合，并能够进行特征选择。

Lasso 回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∑ j = 1 n ∣ β j ∣   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^n |\beta_j| \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λj=1∑n​∣βj​∣ 

特点
  • 特征选择：通过 L 1 L1 L1 正则化，将不重要的特征系数收缩为零，从而实现特征选择。
  • 防止过拟合：与岭回归类似，Lasso 回归也能够控制模型的复杂度。
  • 参数选择：需要调优正则化参数 λ \lambda λ。
应用场景

Lasso 回归适用于高维数据和特征选择的场景，如基因数据分析、文本分类、图像处理等。

4. 弹性网络回归

弹性网络回归（Elastic Net Regression）结合了岭回归和 Lasso 回归的正则化项，能够同时进行特征选择和防止过拟合。

弹性网络回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ 1 ∑ j = 1 n ∣ β j ∣ + λ 2 ∑ j = 1 n β j 2   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda_1 \sum_{j=1}^n |\beta_j| + \lambda_2 \sum_{j=1}^n \beta_j^2 \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λ1​j=1∑n​∣βj​∣+λ2​j=1∑n​βj2​ 

特点
  • 特征选择与防止过拟合：结合了 Lasso 和岭回归的优点，能够进行特征选择并防止过拟合。
  • 适用于高维数据：在高维数据集上表现良好。
  • 参数选择：需要调优两个正则化参数 λ 1 \lambda_1 λ1​ 和 λ 2 \lambda_2 λ2​。
应用场景

弹性网络回归适用于高维数据和特征选择的场景，尤其是当自变量之间存在高度相关性时。

5. 决策树回归

决策树回归通过构建决策树来进行回归，能够捕捉非线性关系。

算法步骤
  1. 将数据集划分为若干子集。
  2. 对每个子集，选择一个特征及其取值进行划分，使得划分后的均方误差最小。
  3. 递归地对每个子集进行上述划分，直到满足停止条件。
特点
  • 捕捉非线性关系：决策树能够处理非线性和交互效应。
  • 易于解释：决策树的结构直观易懂，便于解释。
  • 易受过拟合影响：需要剪枝等技术来防止过拟合。
应用场景

决策树回归适用于数据集特征和目标变量之间存在非线性关系的场景，如市场预测、医学诊断等。

6. 支持向量回归（SVR）

支持向量回归（Support Vector Regression, SVR）是支持向量机的扩展，用于回归分析。SVR 寻找一个函数，使得大多数数据点都在一个容忍范围内。

SVR 的优化目标为：
  min ⁡ w , b , ξ , ξ ∗ 1 2 ∥ w ∥ 2 + C ∑ i = 1 n ( ξ i + ξ i ∗ )   \ \min_{w,b,\xi,\xi^*} \frac{1}{2} \|w\|^2 + C \sum_{i=1}^n (\xi_i + \xi_i^*) \  w,b,ξ,ξ∗min​21​∥w∥2+Ci=1∑n​(ξi​+ξi∗​) 
约束条件为：
  y i − ( w ⋅ x i + b ) ≤ ϵ + ξ i   ,   ( w ⋅ x i + b ) − y i ≤ ϵ + ξ i ∗   ;   ξ i , ξ i ∗ ≥ 0 \ y_i - (w \cdot x_i + b) \leq \epsilon + \xi_i \ , \ (w \cdot x_i + b) - y_i \leq \epsilon + \xi_i^* \ ; \ \xi_i, \xi_i^* \geq 0  yi​−(w⋅xi​+b)≤ϵ+ξi​ , (w⋅xi​+b)−yi​≤ϵ+ξi∗​ ; ξi​,ξi∗​≥0
其中，   ϵ \ \epsilon  ϵ 是容忍范围，   ξ i \ \xi_i  ξi​和   ξ i ∗ \ \xi_i^*  ξi∗​是松弛变量， C C C 是惩罚参数。

特点
  • 处理非线性关系：通过核方法，SVR 能够处理复杂的非线性关系。
  • 鲁棒性强：对噪声和异常值具有较强的鲁棒性。
  • 参数选择复杂：需要调优核函数和惩罚参数 C C C。
应用场景

SVR 适用于处理复杂非线性数据的场景，如股票价格预测、能源消耗预测等。

三 回归算法的 Python 实现

下面通过 Python 代码实现上述回归算法，并以一个示例数据集展示其应用。

导入库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet
from sklearn.tree import DecisionTreeRegressor
from sklearn.svm import SVR
from sklearn.metrics import mean_squared_error

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

生成示例数据集

# 生成示例数据集
X, y = make_regression(n_samples=100, n_features=1, noise=10, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

plt.scatter(X, y, color='blue')
plt.title('Sample Data')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

线性回归

# 线性回归
linear_reg = LinearRegression()
linear_reg.fit(X_train, y_train)
y_pred = linear_reg.predict(X_test)

print('Linear Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Linear Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

岭回归

# 岭回归
ridge_reg = Ridge(alpha=1.0)
ridge_reg.fit(X_train, y_train)
y_pred = ridge_reg.predict(X_test)

print('Ridge Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Ridge Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

Lasso 回归

# Lasso 回归
lasso_reg = Lasso(alpha=0.1)
lasso_reg.fit(X_train, y_train)
y_pred = lasso_reg.predict(X_test)

print('Lasso Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Lasso Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

弹性网络回归

# 弹性网络回归
elastic_net_reg = ElasticNet(alpha=0.1, l1_ratio=0.5)
elastic_net_reg.fit(X_train, y_train)
y_pred = elastic_net_reg.predict(X_test)

print('Elastic Net Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Elastic Net Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

决策树回归

# 决策树回归
tree_reg = DecisionTreeRegressor()
tree_reg.fit(X_train, y_train)
y_pred = tree_reg.predict(X_test)

print('Decision Tree Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.scatter(X_test, y_pred, color='red')
plt.title('Decision Tree Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

支持向量回归（SVR）

# 支持向量回归
svr_reg = SVR(kernel='rbf', C=100, epsilon=0.1)
svr_reg.fit(X_train, y_train)
y_pred = svr_reg.predict(X_test)

print('SVR MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.scatter(X_test, y_pred, color='red')
plt.title('Support Vector Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

总结

回归分析是机器学习中的一类重要方法，用于预测连续变量。本文介绍了几种常见的回归算法，包括线性回归、岭回归、Lasso 回归、弹性网络回归、决策树回归和支持向量回归，并展示了它们的数学公式、特点、应用场景及其在 Python 中的实现。不同的回归算法适用于不同的应用场景，通过合理选择算法，可以在实际应用中取得良好的预测效果。希望本文能帮助你更好地理解和应用回归算法。

我的其他同系列博客

支持向量机(SVM算法详解)
knn算法详解
GBDT算法详解
XGBOOST算法详解
CATBOOST算法详解
随机森林算法详解
lightGBM算法详解
对比分析：GBDT、XGBoost、CatBoost和LightGBM
机器学习参数寻优：方法、实例与分析

sssugarr
关注
  • 32
    点赞
  • 踩
  • 17
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
机器学习之逻辑回归算法详解（Sigmoid函数、逻辑回归的损失函数、梯度下降 、逻辑回归的正则化、逻辑回归API中的超参数介绍）
weixin_40247876的博客
06-07 5784
机器学习19_逻辑回归算法详解（2021.06.07 ~） 一. 究极总结 逻辑回归：一个打着回归旗号，却在做分类任务的分类器。 二. 必备知识复习 逻辑回归在本质上其实是由线性回归衍变而来的，因此想要更好地理解逻辑回归，先让我们复习一下线性回归。线性回归的原理其实就是用一个线性回归方程来描述一个线性回归的问题。而线性回归的方程可以写作一个几乎大家都熟悉的方程： 在这个方程中，w0被称作截距，w1 ~ wn 被称作系数，这个线性回归方程也可以用矩阵来表示： 通过求出函数z，线性回归便完成了使用输入的特征
通透！！十大回归算法模型最强总结
2401_85379281的博客
06-13 790
多元线性回归是线性回归的扩展，适用于多个自变量预测一个因变量的情况。它通过寻找多个自变量与因变量之间的最佳拟合平面来进行预测。多元线性回归可以帮助我们理解多个因素对结果的综合影响。岭回归（Ridge Regression）是一种改进的线性回归方法，主要用于处理多重共线性的问题。它通过在损失函数中加入一个惩罚项，使得回归系数尽量小，以此来减少模型的复杂度和过拟合风险。
线性回归算法详解
ccc369639963的博客
03-07 4098
线性回归算法详解 本节我们会认识第一个机器学习算法 —— 线性回归算法（Linear Regression），它是机器学习算法中较为简单，且容易理解的算法模型，你可以把它看做您的第一个“Hello World”程序。 我们先从语义上了解“线性回归”，如果您是第一次接触“线性回归”这个词，那么可以把它分开来看，其中“性代”表线性模型，而“回归”则表示回归问题，也就是用线性模型来解决回归问题。看完上述解释，您脑子中可能仍有许多“问号”，线性还可以理解，比如我们所熟知的直线、曲线、线性方程等，那么“回归”又代表什
机器学习_回归算法详解
a6181816的博客
06-01 1371
线性回归是最简单、最常用的回归算法之一，假设目标变量 ( y ) 与输入特征 ( X ) 之间存在线性关系。ywTXbywTXb其中，( \mathbf{w} ) 是权重向量，( b ) 是偏置项。多项式回归扩展了线性回归，通过引入多项式特征来拟合非线性关系。yw0w1xw2x2wdxdyw0​w1​xw2​x2wd​xd岭回归是线性回归的扩展，加入了L2正则化项来防止过拟合。
【机器学习】Logistic Regression 逻辑回归算法详解 + Java代码实现
热门推荐
知不足而奋进，望远山而前行
01-15 2万+
逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。逻辑回归不是一个回归算法！而是一个分类算法！逻辑回归的决策边界可以是非线性的逻辑回归是最简单的分类算法。通常来说在进行分类任务时，我们都会用逻辑回归做一个BaseLine，然后再尝试其他算法不断改进。逻辑回归不是只能做二分类，它也可以做多分类问题！
线性回归算法初探详解文档
01-15
线性回归是机器学习中的一种基础且重要的监督学习算法，主要用来解决连续变量的预测问题。...通过理解和掌握线性回归算法，我们可以为这些领域的复杂问题构建有效的学习模型，从而提高预测和决策的准确性。
机器学习：逻辑回归与Python代码实现
01-27
逻辑回归一般用于分类问题较多，但是叫做“regression”，而线性回归一般不建议用于分类，因为输出的y的值可能超出0/1范围。这也就是为什么逻辑回归假设函数里面有sigmoid函数的原因了。 逻辑回归问题不在采用“最小...
机器学习——逻辑回归
04-26
完成一个逻辑回归的算法。其中data.npz是数据读取数据的方法为： data = np.load("data.npz") x_train, y_train, x_test, y_test = data["x_train"],data["y_train"],data["x_test"],data["y_test"] x_train为训练集...
逻辑回归分类算法
12-21
**逻辑回归分类算法详解** 逻辑回归（Logistic Regression）是一种广泛应用的分类算法，它通过将线性回归的输出转换为概率值，使得结果适合于二分类或多分类问题。在这个算法中，目标变量“y”的取值通常是有限的...
详解用TensorFlow实现逻辑回归算法
09-20
在机器学习领域，逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其适用于二分类问题。它通过构建一个Sigmoid函数来预测事件发生的概率。在本文中，我们将深入探讨如何利用TensorFlow这一强大的深度...
《JavaSE》---6.＜基础语法（Java三大程序控制结构）＞
m0_73456341的博客
07-14 785
本篇博客主要讲解Java基础语法中的三大结构，一种顺序结构、两大分支结构i（if-else、swich-case）、四大循环结构（while、do while、fot、foreach）
华为od机试真题 — 代表团坐车(Python)
学习,你不是一个人在战斗 ～ 961302305（QQ,微信）
07-17 526
【华为od机试真题 】代表团坐车(Python) 某组织举行会议，来了多个代表团同时到达，接待处只有一辆汽车可以同时接待多个代表团，为了提高车辆利用率，请帮接待员计算可以坐满车的接待方案输出方案数量。
Python每日一题：回文数
xiongxiaoxuan的博客
07-16 234
回文数是指正序（从左向右）和倒序（从右向左）读都是一样的整数。例如，121 是回文，而 123 不是。给你一个整数 x ，如果 x 是一个回文整数，返回 true；否则，返回 false。解释：从左向右读, 为 -121。从右向左读, 为 121-。因此它不是一个回文数。先将整数x转化为字符串形式，判断x和它的反转形态是否完全相等。解释：从右向左读, 为 01。需注意：True和False首字母大写！提示：-231
IPython 日志秘籍：%logstate 命令全解析
2401_85812026的博客
07-17 489
logstate命令是 IPython 日志系统的重要组成部分，它帮助我们掌控日志记录的状态。通过本文的介绍，你应该对如何在 IPython 中使用%logstate查看日志状态有了更深入的理解。记住，合理利用日志系统，可以让你的数据探索过程更加透明和可追溯。本文详细介绍了 IPython 的%logstate命令，包括其基本概念、基本用法、输出解析以及实战示例。希望本文能够帮助读者更好地利用 IPython 的日志系统，优化数据探索和科学计算的工作流。记住，掌握%logstate。
批量下载网易云音乐歌单的Python脚本
最新发布
qq_43580271的博客
07-17 931
同时，这也展示了如何利用Python在日常生活中解决实际问题的能力，希望这个小技巧对你有所帮助！
N7翻译实战
tjl521314_21的博客
07-17 224
本周完成项目实战用于训练一个简单的序列到序列（seq2seq）模型以实现英语到法语的翻译。数据预处理、模型构建、训练以及可视化损失的过程。本周学习了构建和训练一个简单的seq2seq模型用于英语到法语的翻译，对前面的知识做了一个综合的运用。
httpx 的使用
qq_39217312的博客
07-15 755
httpx 是一个可以支持 HTTP/2.0 的库还有一个是： hyper 库这里有一个由HTTP/2.0的网站： https://spa16.scrape.center/使用 requests 库 进行爬取 报错：安装： httpx pip3 install httpx 这样安装并不能支持 HTTP/2.0如果想要支持，需要这样安装：pip3 install httpx[http2]输出：这里访问的HTTP/1.0的网站，并且依次打印除了 ， 响应状态码(status_code),响应头信息(header
sklearn基础教程：掌握机器学习入门的钥匙
AIGC绘图领域探索者，热衷于将创意与技术融合，致力于分享前沿AI绘图技巧与心得，让我们一起开启视觉艺术的新篇章。
07-13 969
是基于Python的一个开源机器学习库，它建立在NumPy、SciPy和matplotlib之上，提供了大量的算法和工具，用于数据挖掘和数据分析。无论是简单的线性回归，还是复杂的神经网络，sklearn都能提供直观易用的接口。作为Python中最为流行的机器学习库之一，以其简洁的API、丰富的算法和强大的功能赢得了广大用户的青睐。通过本文的介绍，相信你已经对sklearn有了初步的了解，并能够开始进行一些基础的机器学习任务。
头歌的逻辑回归算法的第1关：逻辑回归算法详解的答案
06-03
逻辑回归算法详解： 逻辑回归是一种常见的分类算法，主要用于二分类问题。逻辑回归的目标是通过寻找最佳拟合参数来最大化对数似然函数，从而得到最优的分类决策边界。 在逻辑回归中，定义一个sigmoid函数将线性回归结果映射到[0,1]区间内，从而得到分类结果。sigmoid函数的公式为： $$h_{\theta}(x) = \frac{1}{1 + e^{-\theta^Tx}}$$ 其中，$\theta$是模型的参数，$x$是输入的特征向量。对于一个训练样本$(x^{(i)}, y^{(i)})$，逻辑回归的损失函数可以定义为： $$J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log(h_{\theta}(x^{(i)})) + (1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]$$ 其中，$m$是训练样本的数量，$y^{(i)}$是样本的真实标签。最小化这个损失函数可以使用梯度下降算法来求解最优的参数$\theta$。梯度下降的更新公式为： $$\theta_j = \theta_j - \alpha\frac{\partial J(\theta)}{\partial \theta_j}$$ 其中，$\alpha$是学习率，$\frac{\partial J(\theta)}{\partial \theta_j}$是损失函数对参数$\theta_j$的偏导数。 通过不断迭代更新参数$\theta$，最终得到最优的分类决策边界。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sssugarr

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值