非线性回归的实现方式

于 2023-12-02 00:09:48 发布
阅读量1.8k 收藏 40
点赞数 40
文章标签： 回归 数据挖掘 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_81159774/article/details/134740552
版权

非线性回归的实现方式


本文介绍多种非线性回归的实现方法，每种方法都有其特点和适用场景。

以下是几种常见的非线性回归方法：

1.多项式回归：

一种常见的做法是使用**多项式回归，**这是一种特殊形式的线性回归，通过将原始特征转换为多项式特征来捕捉数据的非线性关系。在 Python 中，您可以使用 Scikit-Learn 的 PolynomialFeatures 与 LinearRegression 来实现多项式回归。

  • 已经介绍过，通过将输入变量转换为其高次项来实现非线性。
  • 适用于数据关系可以近似表示为多项式的情况。
import pandas as pd
from sklearn.linear_model import LinearRegression
from sklearn.preprocessing import PolynomialFeatures

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])
# 分离特征和目标变量
X = df[['z']]  # 特征（x 轴坐标）
y = df[['x1', 'y1', 'x2', 'y2']]  # 目标变量

# 设置多项式回归模型
degree = 2  # 可以根据需要调整多项式的度数
poly_features = PolynomialFeatures(degree=degree)
X_poly = poly_features.fit_transform(X)

# 训练多个模型
models = {}
for target in y.columns:
    model = LinearRegression()
    model.fit(X_poly, y[target])
    models[target] = model

# 预测函数
def predict(x_value):
    x_poly = poly_features.transform([[x_value]])
    predictions = [models[target].predict(x_poly)[0] for target in y.columns]
    return predictions

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

2.决策树回归：

决策树回归是一种有效的非线性回归方法，它通过构建决策树来模拟数据中的非线性关系。这种方法尤其适合处理具有复杂数据结构的问题，可以在没有复杂方程模型的情况下捕捉数据的内在规律。

工作原理

  1. 分割数据：决策树通过将特征空间分割成一系列简单区域来工作。对于每个区域，模型会计算一个输出值。

  2. 构建树结构：从根节点开始，数据基于某些条件被分割到不同的分支，这个过程一直持续到满足停止条件，如达到预设的深度或节点中的数据点数量低于某个阈值。

  3. 预测输出：对于一个新的数据点，决策树回归模型会根据这些分割规则将其放入相应的区域，并预测输出为该区域的平均目标值。

  • 使用决策树模型来拟合非线性关系。
  • Scikit-Learn 的 DecisionTreeRegressor 可以用来实现。
  • 适用于复杂的非线性关系，但容易过拟合。
import pandas as pd
from sklearn.tree import DecisionTreeRegressor

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])

# 分离特征和目标变量
X = df[['z']]  # 特征（x 轴坐标）
y = df[['x1', 'y1', 'x2', 'y2']]  # 目标变量

# 训练多个决策树模型
models = {}
for target in y.columns:
    model = DecisionTreeRegressor()
    model.fit(X, y[target])
    models[target] = model

# 预测函数
def predict(x_value):
    predictions = [models[target].predict([[x_value]])[0] for target in y.columns]
    return predictions

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

请注意，决策树回归模型可能容易过拟合，尤其是当数据量不足或树的深度过大时。为了提高模型的泛化能力，您可能需要调整模型的参数，如最大深度、最小分割样本数等。

3.随机森林回归(更高级的集成方法)：

随机森林回归是一种强大的非线性回归方法，它通过结合多个决策树的预测结果来提高模型的准确性和泛化能力。随机森林在处理各种类型的回归问题时都表现出色，特别是在处理有复杂非线性关系和高维特征的数据时。

工作原理

  1. 集成学习：随机森林属于集成学习方法，它构建多个决策树并将它们的预测结果合并起来，以提高整体模型的性能。
  2. 随机性：在构建每棵树时，随机森林引入了两种主要的随机性：一是通过对原始数据集进行有放回抽样来创建每棵树的训练集（即自助聚合，或bootstrap aggregating）；二是在分割节点时，从一个随机的特征子集中选择最佳分割特征。
  3. 预测：对于回归任务，随机森林的预测结果是其所有决策树预测结果的平均值。
  • 是决策树回归的扩展，使用多个决策树的平均来改进预测的准确性。
  • 使用 Scikit-Learn 的 RandomForestRegressor。
  • 适合于有大量数据且数据关系复杂的情况。
import pandas as pd
from sklearn.ensemble import RandomForestRegressor

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])

# 分离特征和目标变量
X = df[['z']]  # 特征（x 轴坐标）
y = df[['x1', 'y1', 'x2', 'y2']]  # 目标变量

# 训练多个随机森林模型
models = {}
for target in y.columns:
    model = RandomForestRegressor(n_estimators=100)  # n_estimators 是树的数量
    model.fit(X, y[target])
    models[target] = model

# 预测函数
def predict(x_value):
    predictions = [models[target].predict([[x_value]])[0] for target in y.columns]
    return predictions

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

随机森林有一些关键参数，比如 n_estimators（树的数量），这些参数可以调整以优化模型性能。更多的树可以提高模型的准确性和稳定性，但也会增加计算成本。您可以根据实际情况调整这些参数以达到最佳性能。

4.支持向量回归（SVR）：

支持向量回归（SVR）是一种基于支持向量机（SVM）的回归方法，它在处理非线性关系时表现出色。SVR通过引入核技巧来处理非线性数据，使其能够适应各种复杂的数据模式。

工作原理

  1. 核技巧：SVR利用核函数将原始特征映射到高维空间，在这个空间中，数据可能变得线性可分离。常见的核函数包括线性核、多项式核、径向基函数（RBF）核等。
  2. 边际和支持向量：SVR试图找到一个超平面，以最小化模型预测和实际数据之间的最大偏差，同时保持边际最大化。数据点中最靠近这个超平面的点被称为支持向量，它们是模型构建的关键。
  3. 正则化：SVR允许一定的误差，这通过一个参数（通常是C）来控制。该参数定义了对于预测误差的容忍度，帮助避免过拟合。
  • 使用支持向量机（SVM）来进行回归分析。
  • Scikit-Learn 的 SVR 类可以用于实现。
  • 特别适用于高维数据，可以通过不同的核函数来捕捉非线性关系。
import pandas as pd
from sklearn.svm import SVR

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])

# 分离特征和目标变量
X = df[['z']]  # 特征（x 轴坐标）
y = df[['x1', 'y1', 'x2', 'y2']]  # 目标变量

# 训练多个SVR模型
models = {}
for target in y.columns:
    model = SVR(kernel='rbf')  # 使用 RBF 核; 也可以尝试 'linear', 'poly', 等核函数
    model.fit(X, y[target])
    models[target] = model

# 预测函数
def predict(x_value):
    predictions = [models[target].predict([[x_value]])[0] for target in y.columns]
    return predictions

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

在实际应用中，您可能需要调整SVR的参数，例如选择不同的核函数和调整正则化参数C，以获得最佳性能。

5.K近邻回归（KNN回归）：

K近邻（K-Nearest Neighbors, KNN）回归是一种简单而强大的非线性回归方法。它基于相似度或距离度量，通过考虑一个数据点的最近邻居来进行预测。KNN回归不需要对数据进行显式的建模，使其非常适合于复杂的非线性数据。

工作原理

  1. 邻居选择：对于一个给定的预测点，KNN回归查找训练数据中距离最近的K个邻居。距离通常使用欧几里得距离计算，但也可以使用其他类型的距离度量。
  2. 平均预测：然后，它计算这些邻居的目标值的平均值或加权平均值作为预测值。
  3. 参数选择：KNN的关键参数是邻居的数量K。较小的K值意味着模型对噪声更敏感，而较大的K值则可能导致过于平滑的预测。
  • 通过观察样本点的K个最近邻居来预测。
  • 使用 Scikit-Learn 的 KNeighborsRegressor。
  • 适用于数据具有明显的局部模式或群集时。
import pandas as pd
from sklearn.neighbors import KNeighborsRegressor

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])

# 分离特征和目标变量
X = df[['z']]  # 特征（x 轴坐标）
y = df[['x1', 'y1', 'x2', 'y2']]  # 目标变量

# 训练多个KNN模型
models = {}
for target in y.columns:
    model = KNeighborsRegressor(n_neighbors=2)  # n_neighbors 是邻居的数量,必须大于n_samples
    model.fit(X, y[target])
    models[target] = model

# 预测函数
def predict(x_value):
    predictions = [models[target].predict([[x_value]])[0] for target in y.columns]
    return predictions

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

KNN回归的效果很大程度上取决于n_neighbors参数的选择。通常，这个参数需要根据具体数据集进行调整，以找到最佳的平衡点。

6.神经网络回归：

神经网络回归是一种强大的方法，用于建模复杂的非线性关系。它使用人工神经网络的结构来学习数据中的模式，并做出预测。神经网络在处理高维数据和捕捉复杂的数据关系方面表现出色。

工作原理

  1. 网络结构：一个典型的神经网络包括输入层、若干隐藏层和输出层。每层包含若干神经元或节点，这些神经元通过激活函数处理信息。
  2. 前向传播：数据通过网络前向传播，每层的输出成为下一层的输入。
  3. 激活函数：隐藏层通常使用非线性激活函数（如ReLU、Sigmoid、Tanh等），这使得神经网络能够学习非线性关系。
  4. 反向传播和优化：使用反向传播算法结合梯度下降（或其变体）来优化网络的权重，以最小化预测和实际值之间的差异。
  • 使用神经网络来捕捉数据间复杂的非线性关系。
  • 可以使用 Scikit-Learn 的 MLPRegressor 或 TensorFlow 和 Keras。
  • 适用于高度复杂和大规模的数据集。
import torch
import torch.nn as nn
import torch.optim as optim
import pandas as pd
from torch.utils.data import DataLoader, TensorDataset

# 示例数据
data = [[251, 215, 284, 311, 1], [256, 213, 298, 312, 2], [258, 213, 305, 316, 3]]

# 转换数据格式
df = pd.DataFrame(data, columns=['x1', 'y1', 'x2', 'y2', 'z'])

# 分离特征和目标变量，并转换为PyTorch张量
X = torch.tensor(df[['z']].values, dtype=torch.float32)
y = torch.tensor(df[['x1', 'y1', 'x2', 'y2']].values, dtype=torch.float32)

# 创建数据加载器
dataset = TensorDataset(X, y)
dataloader = DataLoader(dataset, batch_size=10, shuffle=True)

# 定义神经网络模型
class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.fc1 = nn.Linear(1, 10)  # 输入层到隐藏层
        self.fc2 = nn.Linear(10, 10) # 隐藏层
        self.fc3 = nn.Linear(10, 4)  # 隐藏层到输出层

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        x = self.fc3(x)
        return x

# 实例化模型、定义损失函数和优化器
model = Net()
criterion = nn.MSELoss()
optimizer = optim.Adam(model.parameters(), lr=0.001)

# 训练模型
for epoch in range(100):
    for inputs, targets in dataloader:
        optimizer.zero_grad()
        outputs = model(inputs)
        loss = criterion(outputs, targets)
        loss.backward()
        optimizer.step()

# 预测函数
def predict(x_value):
    with torch.no_grad():
        prediction = model(torch.tensor([[x_value]], dtype=torch.float32))
    return prediction.numpy()

# 使用示例
predicted_box = predict(4)  # 假设给定 x 值为 4
print(predicted_box)

请注意，神经网络的结构（如层数、每层的节点数）、激活函数、学习率、优化器以及训练过程（如批大小和迭代次数）都是可以调整的，神经网络的训练可能涉及超参数的调整，以及可能的过拟合问题的解决，以获得更好的预测性能。于实际应用，可能需要更复杂的网络结构和调参过程。

总结

每种方法都有其优势和局限性。选择哪种方法取决于数据的特性、问题的复杂性以及计算资源等因素。

通常，对于简单的非线性关系，多项式回归或决策树可能就足够了。对于更复杂的问题，可能需要考虑使用神经网络或支持向量回归。

在实际应用中，通常需要尝试不同的方法，并通过交叉验证等技术来评估它们的性能。

twinkle 222
关注
  • 40
    点赞
  • 踩
  • 40
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【回归分析】MATLAB实现多元线性/非线性回归
WW、forever的博客
10-27 4547
介绍多元分线性/非线性回归及其MATLAB代码实现，以及相应案例。
【机器学习 非线性回归模型】10分钟了解下8种常见的非线性回归模型
热门推荐
赖德发的博客
12-29 2万+
线性回归模型请看上篇文章，本篇文章介绍的是非线性回归模型 线性回归模型链接 在目前的机器学习领域中，最常见的三种任务就是：回归分析、分类分析、聚类分析。那么什么是回归呢？回归分析是一种预测性的建模技术，它研究的是因变量（目标）和自变量（预测器）之间的关系。回归分析在机器学习领域应用非常广泛，例如，商品的销量预测问题，交通流量预测问题。下面介绍几种常见的非线性回归模型。 1、SVR 众所周知，支持向...
机器学习算法——线性回归与非线性回归
最新发布
m0_53062159的博客
11-11 539
例如两个变量之间成正比（例如：x1 为房子的面积，单位是平方英尺；x2为房子的面积，单位是平方米；不可逆的情况很少发生，如果有这种情况，其解决问题的方法之一便是使用正则化以及岭回归等来求最小二乘法。的适用范围更广，可以用于描述非线性或者有两个及两个以上自变量的相关关系，它可以用来评价模型的效果。常用相关系数来衡量两个变量间的相关性，相关系数越大，相关性越高，使用直线拟合样本点时效果就越好。下图的样本点中，左图的相关系数为0.993，右图的相关系数为0.957，即。由推导的公式可知，需要满足的条件是。
回归决策树的介绍
Despicable_Me的博客
05-27 3305
回归决策树（Regression Decision Tree）是一种决策树算法，用于解决回归问题。与传统的分类决策树不同，回归决策树的目标是预测连续数值型的输出，而不是离散的类别标签。数据集准备：首先，需要准备训练数据集，包括输入特征和对应的输出值。每个样本都有一组特征值和一个连续数值型的输出。特征选择：选择最佳的特征来划分数据集。常用的划分准则包括平方误差（Mean Squared Error, MSE）和平均绝对误差（Mean Absolute Error, MAE）等。
支持向量机——非线性回归SVR
As的博客
03-29 6810
模型原型 sklearn.svm.SVR(kernel=’rbf’,degree=3,gamma=’auto’,coef0=0.0,tol=0.001,C=1.0,epsilon=0.1,shrinking=True, cache_size=200,verbose=False,max_iter=-1) 参数 kernel degree gamma coef0 tol C epsilon shri
非线性回归分析MATLAB代码
04-25
在MATLAB中，非线性回归可以通过`lsqcurvefit`函数实现。这个函数采用非线性最小二乘法，寻找一组参数使得预测值与观测值之间的残差平方和最小。基本的使用方式是： ```matlab function resid = nonlinearModel(p, ...
非线性回归代码实现.py
07-18
非线性回归实现
线性回归与非线性回归
02-26
线性回归与非线性回归是两种广泛应用的统计分析方法，它们主要用于建立因变量与一个或多个自变量之间的关系模型。在数据科学和机器学习领域，这两种方法是预测建模的基础。 线性回归是最基础的回归分析技术之一，它...
BPRBF非线性回归,非线性回归分析,matlab
09-10
非线性回归是一种统计分析方法，用于建立输入变量与输出变量之间的非线性关系模型。在许多实际问题中，数据的关联性并非简单的线性关系，此时非线性回归就显得尤为重要。本主题将深入探讨两种常用的方法：径向基函数...
matlab多元非线性回归
09-22
matlab多元非线性回归
在spss中进行非线性回归的方法说明（含举例）
08-22
spss是一款强大的数学统计软件，也可用于信号处理与分析。这里以spss中拟合回归Logistics曲线为例，介绍spss进行非线性回归的方法。
python 机器学习之支持向量机非线性回归SVR模型
09-19
主要介绍了python 机器学习之支持向量机非线性回归SVR模型，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
机器学习系列：（五）决策树——非线性回归与分类
风雪夜归子
06-24 1万+
决策树——非线性回归与分类 前面几章，我们介绍的模型都是广义线性模型，基本方法都是通过联接方程构建解释变量与若干响应变量的关联关系。我们用多元线性回归解决回归问题，逻辑回归解决分类问题。本章我们要讨论一种简单的非线性模型，用来解决回归与分类问题，称为决策树（decision tree）。首先，我们将用决策树做一个广告屏蔽器，可以将网页中的广告内容屏蔽掉。之后，我们
机器学习之非线性回归SVR
muli
12-02 3169
机器学习之非线性回归SVR # -*- coding: utf-8 -*- """ Created on Fri Nov 30 20:56:54 2018 @author: muli """ import matplotlib.pyplot as plt import numpy as np from sklearn import datasets,cross_validation,svm...
机器学习方法之非线性回归（ Logistic Regression）
From Zero to Hero
03-27 1万+
非线性回归是线性回归的延伸，其目标预测函数不是线性的。本文主要介绍逻辑回归（Logistic Regression），它是非线性回归的一种，虽然名字中有“回归”二字，但其本质上是一个分类模型。 含义 我们知道，线性回归的模型是求出输出特征向量Y和输入样本矩阵X之间的线性关系系数θ，满足Y=XθY=XθY=Xθ。此时Y是连续的，所以是回归模型。如果Y是离散的话，如何解决？一个可以想到的办法是，我们...
线性回归与非线性回归分析简明教程（python版）-全程干货无废话
07-23
本课程主要讲述如何使用python进行线性回归与非线性回归分析，包括：基于statsmodel的线性回归方法基于sklearn的线性回归方法基于Numpy的一元多项式非线性回归方法基于sklearn的多元多项式非线性回归方法基于scipy的通用曲线拟合非线性回归方法
Machine Learning 2 - 非线性回归算法分析
ErixHao的专栏
08-07 2901
2017-08-02@erixhao  技术极客TechBooster AI 机器学习第二篇 - 非线形回归分析。我们上文深入本质了解了机器学习基础线性回归算法后，本文继续研究非线性回归。 非线性回归在机器学习中并非热点，并且较为小众，且其应用范畴也不如其他广。鉴于此，我们本文也将较为简单的介绍，并不会深入展开。 非线性回归之后，我们会继续经典机器学习算法包括决策
多元随机森林回归（Multivariate Random Forest Regreesor）经验总结
weixin_40739651的博客
05-14 8822
最近在使用随机森林解决多元回归问题（Multivariate Random Forest Regreesor），本文涉及一些经验总结，包括Bagging解释，多元回归问题的分类，是否需要做自变量相关性分析等。可能较片面，如果发现有误，欢迎指正。
机器学习非线性回归python 决策树
05-27
好的，你想了解关于机器学习中的非线性回归和决策树在Python中的应用，是吗？那我来简单介绍一下。 首先，非线性回归是指目标变量与自变量之间的关系不是线性的情况。在机器学习中，我们通常使用多项式回归、高斯过程回归、决策树回归等方法来解决非线性回归问题。其中，决策树回归是一种基于树结构的回归方法，可以对非线性关系进行建模。 在Python中，我们可以使用scikit-learn等机器学习库来实现非线性回归和决策树回归。具体的实现过程需要根据具体的数据和问题进行选择和调整。 例如，下面是使用scikit-learn库实现决策树回归的Python代码示例： ```python # 导入库 from sklearn.tree import DecisionTreeRegressor from sklearn.datasets import make_regression from sklearn.model_selection import train_test_split # 生成数据 X, y = make_regression(n_samples=1000, n_features=10, noise=0.1, random_state=42) # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42) # 创建模型 model = DecisionTreeRegressor(random_state=42) # 拟合模型 model.fit(X_train, y_train) # 预测 y_pred = model.predict(X_test) # 评估模型 score = model.score(X_test, y_test) print("R2 Score:", score) ``` 希望这个简单的示例能够帮到你。如果还有其他问题，可以继续问我哦！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

twinkle 222

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值