pytorch中的非线性回归

pytorch中的非线性回归

简介：非线性回归是指因变量（目标输出）与自变量（特征输入）之间的关系不是线性的情况。与线性回归不同，非线性回归中因变量与自变量之间的关系可能是曲线状的，可以是多项式关系、指数关系、对数关系等。在非线性回归中，模型的拟合函数通常不是线性的，因此需要使用其他方法来拟合数据。

下面是PyTorch 实现非线性回归，并解释代码中的关键部分。

• 首先导入必要的库：

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

• 接下来，生成一些非线性的数据用于训练模型：

# 生成非线性数据
X = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # 生成在[-1, 1]之间的100个数据点
Y = X.pow(2) + 0.2 * torch.rand(X.size())  # 添加噪声

• 定义一个简单的非线性回归模型。在这个例子中，使用一个具有单个隐藏层的神经网络模型。隐藏层使用 ReLU 激活函数，输出层不使用激活函数。

class NonLinearRegression(nn.Module):
    def __init__(self):
        super(NonLinearRegression, self).__init__()
        self.hidden_layer = nn.Linear(1, 10)  # 隐藏层
        self.output_layer = nn.Linear(10, 1)   # 输出层

    def forward(self, x):
        x = torch.relu(self.hidden_layer(x))
        x = self.output_layer(x)
        return x

• 使用实例化模型、定义损失函数和优化器：

model = NonLinearRegression()
criterion = nn.MSELoss()  # 使用均方误差损失函数
optimizer = optim.SGD(model.parameters(), lr=0.1)  # 使用随机梯度下降优化器

• 进行模型训练：

num_epochs = 1000
for epoch in range(num_epochs):
    outputs = model(X)  # 前向传播
    loss = criterion(outputs, Y)  # 计算损失
    
    optimizer.zero_grad()  # 梯度清零
    loss.backward()  # 反向传播
    optimizer.step()  # 更新参数
    
    if (epoch+1) % 100 == 0:
        print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))

最后，我们绘制模型的预测结果和原始数据之间的对比图：

plt.scatter(X.data.numpy(), Y.data.numpy())  # 绘制原始数据散点图
plt.plot(X.data.numpy(), outputs.data.numpy(), 'r-', lw=3)  # 绘制模型预测结果曲线
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Non-linear Regression')
plt.show()

• 完整代码

import torch
import torch.nn as nn
import torch.optim as optim
import numpy as np
import matplotlib.pyplot as plt

# 生成非线性数据
X = torch.unsqueeze(torch.linspace(-1, 1, 100), dim=1)  # 生成在[-1, 1]之间的100个数据点
Y = X.pow(2) + 0.2 * torch.rand(X.size())  # 添加噪声

# 定义非线性回归模型
class NonLinearRegression(nn.Module):
    def __init__(self):
        super(NonLinearRegression, self).__init__()
        self.hidden_layer = nn.Linear(1, 10)  # 隐藏层
        self.output_layer = nn.Linear(10, 1)   # 输出层

    def forward(self, x):
        x = torch.relu(self.hidden_layer(x))
        x = self.output_layer(x)
        return x

# 实例化模型、定义损失函数和优化器
model = NonLinearRegression()
criterion = nn.MSELoss()  # 使用均方误差损失函数
optimizer = optim.SGD(model.parameters(), lr=0.1)  # 使用随机梯度下降优化器

# 训练模型
num_epochs = 1000
for epoch in range(num_epochs):
    outputs = model(X)  # 前向传播
    loss = criterion(outputs, Y)  # 计算损失
    
    optimizer.zero_grad()  # 梯度清零
    loss.backward()  # 反向传播
    optimizer.step()  # 更新参数
    
    if (epoch+1) % 100 == 0:
        print('Epoch [{}/{}], Loss: {:.4f}'.format(epoch+1, num_epochs, loss.item()))

# 绘制模型的预测结果和原始数据之间的对比图
plt.scatter(X.data.numpy(), Y.data.numpy())  # 绘制原始数据散点图
plt.plot(X.data.numpy(), outputs.data.numpy(), 'r-', lw=3)  # 绘制模型预测结果曲线
plt.xlabel('X')
plt.ylabel('Y')
plt.title('Non-linear Regression')
plt.show()

• 运行结果