回归算法详解

已于 2024-06-21 13:07:47 修改
阅读量1.3k 收藏 16
点赞数 32
分类专栏： 机器学习算法详解 文章标签： 线性回归 python sklearn 算法
于 2024-06-19 09:58:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43817712/article/details/139790649
版权

回归算法详解

回归分析是一类重要的机器学习方法，主要用于预测连续变量。本文将详细讲解几种常见的回归算法，包括线性回归、岭回归、Lasso 回归、弹性网络回归、决策树回归和支持向量回归（SVR），并展示它们的特点、应用场景及其在 Python 中的实现。

一 什么是回归分析？

回归分析是一种统计方法，用于确定因变量（目标变量）和自变量（预测变量）之间的关系。回归分析的目标是建立一个模型，通过自变量预测因变量。

二 常见回归算法

1. 线性回归

线性回归是最基本的回归方法，假设因变量和自变量之间存在线性关系。线性回归的目标是找到一条直线，使得所有数据点到该直线的距离之和最小。
线性回归模型的方程为：
  y = β 0 + β 1 x 1 + β 2 x 2 + … + β n x n + ϵ   \ y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \ldots + \beta_n x_n + \epsilon \  y=β0​+β1​x1​+β2​x2​+…+βn​xn​+ϵ 
其中，   β 0 \ \beta_0  β0​ 是截距，   β i \ \beta_i  βi​ 是自变量   x i \ x_i  xi​ 的回归系数，   ϵ \ \epsilon  ϵ 是误差项。

损失函数

最小化均方误差（Mean Squared Error, MSE）：
 MSE = 1 n ∑ i = 1 n ( y i − y ^ i ) 2   \ \text{MSE} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \  MSE=n1​i=1∑n​(yi​−y^​i​)2 

特点
  • 简单易懂：线性回归是最简单的回归模型，易于解释和实现。
  • 计算速度快：适用于大规模数据集。
  • 易于扩展：可以通过添加多项式项、交互项等扩展为更复杂的模型。
应用场景

线性回归适用于因变量和自变量之间存在线性关系的场景，例如经济学中的供求关系、工程中的温度与压力关系等。

2. 岭回归

岭回归（Ridge Regression）是一种线性回归的变种，通过在损失函数中加入   L 2 \ L2  L2 正则化项来防止过拟合。

岭回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∑ j = 1 n β j 2   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^n \beta_j^2 \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λj=1∑n​βj2​ 
其中， λ \lambda λ是正则化参数。

特点
  • 防止过拟合：通过正则化项控制模型的复杂度，防止过拟合。
  • 处理共线性：适用于自变量之间存在较强相关性的情况。
  • 参数选择：需要调优正则化参数 λ \lambda λ。
应用场景

岭回归适用于高维数据集和自变量之间存在共线性的场景，如基因表达数据分析、文本数据分类等。

3. Lasso 回归

Lasso 回归（Least Absolute Shrinkage and Selection Operator Regression）通过加入 L 1 L1 L1 正则化项来防止过拟合，并能够进行特征选择。

Lasso 回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ ∑ j = 1 n ∣ β j ∣   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda \sum_{j=1}^n |\beta_j| \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λj=1∑n​∣βj​∣ 

特点
  • 特征选择：通过 L 1 L1 L1 正则化，将不重要的特征系数收缩为零，从而实现特征选择。
  • 防止过拟合：与岭回归类似，Lasso 回归也能够控制模型的复杂度。
  • 参数选择：需要调优正则化参数 λ \lambda λ。
应用场景

Lasso 回归适用于高维数据和特征选择的场景，如基因数据分析、文本分类、图像处理等。

4. 弹性网络回归

弹性网络回归（Elastic Net Regression）结合了岭回归和 Lasso 回归的正则化项，能够同时进行特征选择和防止过拟合。

弹性网络回归的损失函数为：
 Loss = 1 n ∑ i = 1 n ( y i − y ^ i ) 2 + λ 1 ∑ j = 1 n ∣ β j ∣ + λ 2 ∑ j = 1 n β j 2   \ \text{Loss} = \frac{1}{n} \sum_{i=1}^n (y_i - \hat{y}_i)^2 + \lambda_1 \sum_{j=1}^n |\beta_j| + \lambda_2 \sum_{j=1}^n \beta_j^2 \  Loss=n1​i=1∑n​(yi​−y^​i​)2+λ1​j=1∑n​∣βj​∣+λ2​j=1∑n​βj2​ 

特点
  • 特征选择与防止过拟合：结合了 Lasso 和岭回归的优点，能够进行特征选择并防止过拟合。
  • 适用于高维数据：在高维数据集上表现良好。
  • 参数选择：需要调优两个正则化参数 λ 1 \lambda_1 λ1​ 和 λ 2 \lambda_2 λ2​。
应用场景

弹性网络回归适用于高维数据和特征选择的场景，尤其是当自变量之间存在高度相关性时。

5. 决策树回归

决策树回归通过构建决策树来进行回归，能够捕捉非线性关系。

算法步骤
  1. 将数据集划分为若干子集。
  2. 对每个子集，选择一个特征及其取值进行划分，使得划分后的均方误差最小。
  3. 递归地对每个子集进行上述划分，直到满足停止条件。
特点
  • 捕捉非线性关系：决策树能够处理非线性和交互效应。
  • 易于解释：决策树的结构直观易懂，便于解释。
  • 易受过拟合影响：需要剪枝等技术来防止过拟合。
应用场景

决策树回归适用于数据集特征和目标变量之间存在非线性关系的场景，如市场预测、医学诊断等。

6. 支持向量回归（SVR）

支持向量回归（Support Vector Regression, SVR）是支持向量机的扩展，用于回归分析。SVR 寻找一个函数，使得大多数数据点都在一个容忍范围内。

SVR 的优化目标为：
  min ⁡ w , b , ξ , ξ ∗ 1 2 ∥ w ∥ 2 + C ∑ i = 1 n ( ξ i + ξ i ∗ )   \ \min_{w,b,\xi,\xi^*} \frac{1}{2} \|w\|^2 + C \sum_{i=1}^n (\xi_i + \xi_i^*) \  w,b,ξ,ξ∗min​21​∥w∥2+Ci=1∑n​(ξi​+ξi∗​) 
约束条件为：
  y i − ( w ⋅ x i + b ) ≤ ϵ + ξ i   ,   ( w ⋅ x i + b ) − y i ≤ ϵ + ξ i ∗   ;   ξ i , ξ i ∗ ≥ 0 \ y_i - (w \cdot x_i + b) \leq \epsilon + \xi_i \ , \ (w \cdot x_i + b) - y_i \leq \epsilon + \xi_i^* \ ; \ \xi_i, \xi_i^* \geq 0  yi​−(w⋅xi​+b)≤ϵ+ξi​ , (w⋅xi​+b)−yi​≤ϵ+ξi∗​ ; ξi​,ξi∗​≥0
其中，   ϵ \ \epsilon  ϵ 是容忍范围，   ξ i \ \xi_i  ξi​和   ξ i ∗ \ \xi_i^*  ξi∗​是松弛变量， C C C 是惩罚参数。

特点
  • 处理非线性关系：通过核方法，SVR 能够处理复杂的非线性关系。
  • 鲁棒性强：对噪声和异常值具有较强的鲁棒性。
  • 参数选择复杂：需要调优核函数和惩罚参数 C C C。
应用场景

SVR 适用于处理复杂非线性数据的场景，如股票价格预测、能源消耗预测等。

三 回归算法的 Python 实现

下面通过 Python 代码实现上述回归算法，并以一个示例数据集展示其应用。

导入库

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_regression
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LinearRegression, Ridge, Lasso, ElasticNet
from sklearn.tree import DecisionTreeRegressor
from sklearn.svm import SVR
from sklearn.metrics import mean_squared_error

plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

生成示例数据集

# 生成示例数据集
X, y = make_regression(n_samples=100, n_features=1, noise=10, random_state=42)
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

plt.scatter(X, y, color='blue')
plt.title('Sample Data')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

线性回归

# 线性回归
linear_reg = LinearRegression()
linear_reg.fit(X_train, y_train)
y_pred = linear_reg.predict(X_test)

print('Linear Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Linear Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

岭回归

# 岭回归
ridge_reg = Ridge(alpha=1.0)
ridge_reg.fit(X_train, y_train)
y_pred = ridge_reg.predict(X_test)

print('Ridge Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Ridge Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

Lasso 回归

# Lasso 回归
lasso_reg = Lasso(alpha=0.1)
lasso_reg.fit(X_train, y_train)
y_pred = lasso_reg.predict(X_test)

print('Lasso Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Lasso Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

弹性网络回归

# 弹性网络回归
elastic_net_reg = ElasticNet(alpha=0.1, l1_ratio=0.5)
elastic_net_reg.fit(X_train, y_train)
y_pred = elastic_net_reg.predict(X_test)

print('Elastic Net Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.plot(X_test, y_pred, color='red')
plt.title('Elastic Net Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

决策树回归

# 决策树回归
tree_reg = DecisionTreeRegressor()
tree_reg.fit(X_train, y_train)
y_pred = tree_reg.predict(X_test)

print('Decision Tree Regression MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.scatter(X_test, y_pred, color='red')
plt.title('Decision Tree Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

支持向量回归（SVR）

# 支持向量回归
svr_reg = SVR(kernel='rbf', C=100, epsilon=0.1)
svr_reg.fit(X_train, y_train)
y_pred = svr_reg.predict(X_test)

print('SVR MSE:', mean_squared_error(y_test, y_pred))

plt.scatter(X_test, y_test, color='blue')
plt.scatter(X_test, y_pred, color='red')
plt.title('Support Vector Regression')
plt.xlabel('Feature')
plt.ylabel('Target')
plt.show()

在这里插入图片描述

总结

回归分析是机器学习中的一类重要方法，用于预测连续变量。本文介绍了几种常见的回归算法，包括线性回归、岭回归、Lasso 回归、弹性网络回归、决策树回归和支持向量回归，并展示了它们的数学公式、特点、应用场景及其在 Python 中的实现。不同的回归算法适用于不同的应用场景，通过合理选择算法，可以在实际应用中取得良好的预测效果。希望本文能帮助你更好地理解和应用回归算法。

我的其他同系列博客

支持向量机(SVM算法详解)
knn算法详解
GBDT算法详解
XGBOOST算法详解
CATBOOST算法详解
随机森林算法详解
lightGBM算法详解
对比分析：GBDT、XGBoost、CatBoost和LightGBM
机器学习参数寻优：方法、实例与分析

sssugarr
关注
  • 32
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
Logistic回归分类算法详解
m0_70372647的博客
05-19 2558
我们来讨论另外一种被广泛应用的分类算法— Logistic 回归。在讲解这个概念之前，我们先来聊一个题外话—“Logistic regression”的中文译法。“regression”译作“回归”，并没有什么异议，而“Logistic”的翻译可谓五花八门。有译作“逻辑斯谛”的，这种音译中规中矩，自然不能算错，但不够形象。 更多文献直接将其译作“逻辑”，这种译法可能就有点误导大家了。“逻辑”（logic）本来是一个哲学概念，它注重的是推论和证明，而“Logistic”主要用于机器学习领域的分类。二者几乎无关
线性回归算法初探详解文档
01-15
Machine Learning: Field of study that gives computers the ability to learn without being explicitly programmed. A computer program is said to learn from experience E with respect ...
机器学习之逻辑回归算法详解（Sigmoid函数、逻辑回归的损失函数、梯度下降 、逻辑回归的正则化、逻辑回归API中的超参数介绍）
weixin_40247876的博客
06-07 5761
机器学习19_逻辑回归算法详解（2021.06.07 ~） 一. 究极总结 逻辑回归：一个打着回归旗号，却在做分类任务的分类器。 二. 必备知识复习 逻辑回归在本质上其实是由线性回归衍变而来的，因此想要更好地理解逻辑回归，先让我们复习一下线性回归。线性回归的原理其实就是用一个线性回归方程来描述一个线性回归的问题。而线性回归的方程可以写作一个几乎大家都熟悉的方程： 在这个方程中，w0被称作截距，w1 ~ wn 被称作系数，这个线性回归方程也可以用矩阵来表示： 通过求出函数z，线性回归便完成了使用输入的特征
10种常见的回归算法总结和介绍
deephub
09-25 5815
常见的线性回归模型（Ridge、Lasso、ElasticNet……）模型使用的方法采用学习算法对模型中的系数进行估计如何评估线性回归模型作者：Fares Sayah。
【机器学习】9种回归算法及实例总结，建议学习收藏
热门推荐
Python学习与数据挖掘
03-19 2万+
我相信很多人跟我一样，学习机器学习和数据科学的第一个算法是线性回归，它简单易懂。由于其功能有限，它不太可能成为工作中的最佳选择。大多数情况下，线性回归被用作基线模型来评估和比较研究中的新方法。 在处理实际问题时，你应该了解并尝试许多其他回归算法。一方面可以系统学习回归算法，另外一方面在面试中也常用到这些算法。在本文中，我们将通过使用 Scikit-learn 和 XGBoost 的动手实践来学习 9 种流行的回归算法。 喜欢本文记得收藏、关注、点赞。 【注】文末有技术交流群 结构如下： 线性回归 多项式回
机器学习之线性回归算法详解（附加利福尼亚房价预测的实现源码）
weixin_40247876的博客
05-30 3517
机器学习15_线性回归算法详解 （2021.05.30） 一. 基础知识 什么是回归问题？回归问题的本质又是什么？ 回归问题其实就是目标值是连续性的值，而分类问题的目标值则是离散型的值。回归处理的问题为预测，其本质都在于根据事物的相关特征预测出对应的结果值。比如：预测房价、预测销售额、设定贷款额度等。 举一个生活中有关回归的例子: 预测学生的期末成绩 已知了期末成绩的判定方法：0.7 x 考试成绩 + 0.3 x 平时成绩（该公式或者算法在别的线性回归算法中是根据数据推演出来的，而不是提前设置好
线性回归算法详解
ccc369639963的博客
03-07 4083
线性回归算法详解 本节我们会认识第一个机器学习算法 —— 线性回归算法（Linear Regression），它是机器学习算法中较为简单，且容易理解的算法模型，你可以把它看做您的第一个“Hello World”程序。 我们先从语义上了解“线性回归”，如果您是第一次接触“线性回归”这个词，那么可以把它分开来看，其中“性代”表线性模型，而“回归”则表示回归问题，也就是用线性模型来解决回归问题。看完上述解释，您脑子中可能仍有许多“问号”，线性还可以理解，比如我们所熟知的直线、曲线、线性方程等，那么“回归”又代表什
机器学习_回归算法详解
a6181816的博客
06-01 1341
线性回归是最简单、最常用的回归算法之一，假设目标变量 ( y ) 与输入特征 ( X ) 之间存在线性关系。ywTXbywTXb其中，( \mathbf{w} ) 是权重向量，( b ) 是偏置项。多项式回归扩展了线性回归，通过引入多项式特征来拟合非线性关系。yw0w1xw2x2wdxdyw0​w1​xw2​x2wd​xd岭回归是线性回归的扩展，加入了L2正则化项来防止过拟合。
【机器学习】Logistic Regression 逻辑回归算法详解 + Java代码实现
知不足而奋进，望远山而前行
01-15 2万+
逻辑回归（Logistic Regression）是一种用于解决二分类（0 or 1）问题的机器学习方法，用于估计某种事物的可能性。比如某用户购买某商品的可能性，某病人患有某种疾病的可能性，以及某广告被用户点击的可能性等。逻辑回归不是一个回归算法！而是一个分类算法！逻辑回归的决策边界可以是非线性的逻辑回归是最简单的分类算法。通常来说在进行分类任务时，我们都会用逻辑回归做一个BaseLine，然后再尝试其他算法不断改进。逻辑回归不是只能做二分类，它也可以做多分类问题！
逻辑斯蒂回归算法详解
Chandler_Liu的博客
12-25 1079
逻辑斯蒂回归算法原理及其可用寻求最优解相关迭代算法
机器学习：逻辑回归与Python代码实现
01-27
逻辑回归一般用于分类问题较多，但是叫做“regression”，而线性回归一般不建议用于分类，因为输出的y的值可能超出0/1范围。这也就是为什么逻辑回归假设函数里面有sigmoid函数的原因了。 逻辑回归问题不在采用“最小...
机器学习——逻辑回归
04-26
完成一个逻辑回归的算法。其中data.npz是数据读取数据的方法为： data = np.load("data.npz") x_train, y_train, x_test, y_test = data["x_train"],data["y_train"],data["x_test"],data["y_test"] x_train为训练集...
详解用TensorFlow实现逻辑回归算法
09-20
在机器学习领域，逻辑回归（Logistic Regression）是一种广泛应用的分类算法，尤其适用于二分类问题。它通过构建一个Sigmoid函数来预测事件发生的概率。在本文中，我们将深入探讨如何利用TensorFlow这一强大的深度...
力扣第214题“最短回文串”
10年数据\经营分析经验，现任大厂数据分析负责人
06-28 1178
本文详细解读了力扣第214题“最短回文串”，通过使用 KMP 算法的方法高效地解决了这一问题，并提供了详细的解释和模拟面试问答。希望读者通过本文的学习，能够在力扣刷题的过程中更加得心应手。
【Python】在 VS Code 里面绘制动图不显示动画的解决办法
Suasy小易的博客
06-25 630
VS Code 中使用 matplotlib 的动画功能，需要配置适当的绘图后端。
昇思25天学习打卡营第2天|张量学习
main_h_的博客
06-26 941
张量是一种特殊的数据结构，主要是描述矩阵 行列式这类。张量（Tensor）是MindSpore网络运算中的基本数据结构，类似日常的多维数组，不过比基础的数组多了一些描述信息。
llama.cpp
最新发布
qq_38148600的博客
06-29 479
https://github.com/echonoshy/cgft-llm【大模型量化】- Llama.cpp轻量化模型部署及量化_哔哩哔哩_bilibiligithub.com/ggerganov/llama.cppcd ~/code/llama.cpp/build_cuda/bin ./quantize --allow-requantize /root/autodl-tmp/models/Llama3-8B-Chinese-Chat-GGUF/Llama3-8B-Chinese-Chat-q8_0-v2
解决Java中的数组越界异常的技术
weixin_44627014的博客
06-26 847
通过本文的讨论，我们了解了如何有效地处理Java中的数组越界异常。预防异常的发生，合理使用异常处理机制以及考虑使用集合类来替代数组，是确保Java应用程序稳定性和可靠性的关键步骤。
头歌的逻辑回归算法的第1关：逻辑回归算法详解的答案
06-03
逻辑回归算法详解： 逻辑回归是一种常见的分类算法，主要用于二分类问题。逻辑回归的目标是通过寻找最佳拟合参数来最大化对数似然函数，从而得到最优的分类决策边界。 在逻辑回归中，定义一个sigmoid函数将线性回归结果映射到[0,1]区间内，从而得到分类结果。sigmoid函数的公式为： $$h_{\theta}(x) = \frac{1}{1 + e^{-\theta^Tx}}$$ 其中，$\theta$是模型的参数，$x$是输入的特征向量。对于一个训练样本$(x^{(i)}, y^{(i)})$，逻辑回归的损失函数可以定义为： $$J(\theta) = -\frac{1}{m}\sum_{i=1}^{m}[y^{(i)}\log(h_{\theta}(x^{(i)})) + (1-y^{(i)})\log(1-h_{\theta}(x^{(i)}))]$$ 其中，$m$是训练样本的数量，$y^{(i)}$是样本的真实标签。最小化这个损失函数可以使用梯度下降算法来求解最优的参数$\theta$。梯度下降的更新公式为： $$\theta_j = \theta_j - \alpha\frac{\partial J(\theta)}{\partial \theta_j}$$ 其中，$\alpha$是学习率，$\frac{\partial J(\theta)}{\partial \theta_j}$是损失函数对参数$\theta_j$的偏导数。 通过不断迭代更新参数$\theta$，最终得到最优的分类决策边界。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sssugarr

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值