Logistic Regression 逻辑斯蒂回归

_leoatliang

已于 2023-01-05 13:35:49 修改

阅读量1.2k

点赞数 4

分类专栏：【PyTorch深度学习】实践文章标签：回归深度学习神经网络 pytorch 人工智能

于 2023-01-05 13:33:37 首次发布

本文链接：https://blog.csdn.net/m0_70885101/article/details/128561842

版权

【PyTorch深度学习】实践专栏收录该内容

9 篇文章 13 订阅

订阅专栏

文章目录

- 5、Logistic Regression 逻辑斯蒂回归

5、Logistic Regression 逻辑斯蒂回归

B站视频教程传送门：PyTorch深度学习实践 - 逻辑斯蒂回归

5.1 回归任务

在开始学习逻辑斯蒂回归之前，我们先简单复习一下之前学过的线性回归：

并且我们使用的数据集也非常的简单：

当我们使用复杂的数据集时，比如 MNIST Dataset 或 CIFAR-10 dataset，就涉及到了分类的问题。

5.1.1 MNIST Dataset

这是一个手写数字的数据库，来源于 MNIST Dataset：

训练集：60000个样本
测试集：10000个样本
类：10（0，1，2，…，9）

可通过以下方式进行下载并使用：

import torchvision
train_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=True, download=True)
test_set = torchvision.datasets.MNIST(root='../dataset/mnist', train=False, download=True

5.1.2 CIFAR-10 Dataset

这是一个各种图像的数据库，来源于 CIFAR-10 Dataset：

训练集：50000个样本
测试集：10000个样本
类：10（airplane，automobile，bird，…）

可通过以下方式进行下载并使用：

import torchvision
train_set = torchvision.datasets.CIFAR10(root='../dataset/cifar10', train=True, download=True)
test_set = torchvision.datasets.CIFAR10(root='../dataset/cifar10', train=False, download=True

5.2 Regression vs Classification 回归 vs 分类

回归： y ∈ R 连续的空间

逻辑斯蒂回归： 主要是做分类的，估算 y 属于哪一个类别，不是让 y 等于某一个特定值（因为类别无法进行比较），而是估算其属于每个分类的概率，概率较大的则是分类的结果。

二分类： 只有两个类别的分类问题，且 P(y = 1) + P(y = 0) = 1

想计算概率属于[0, 1]，而不是实数，可以使用 sigmod() 函数将实数空间映射到[0, 1]之间。

5.3 Sigmoid functions

5.3.1 Logistic Function [0, 1]

维基百科 - Logistic Function：https://en.wikipedia.org/wiki/Logistic_function

5.3.2 Other Functions [-1, 1]

5.4 Model 模型

Linear Model：

class LinearModel(torch.nn.Module):
    def __init__(self):
        super(LinearModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        y_pred = self.linear(x)
        return y_pred

Logistic Regression Model：

class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        y_pred = F.sigmoid(self.linear(x)) # 注意：使用F.sigmoid()会报错，可替换为torch.sigmoid()
        return y_pred

5.5.1 torch.sigmoid()、torch.nn.Sigmoid()、torch.nn.functional.sigmoid()

当导入 torch.nn.functional as F 并使用 F.sigmoid() ，会报错 UserWarning: nn.functional.sigmoid is deprecated. Use torch.sigmoid instead.。表明 nn.functional.sigmoid 已经被弃用，如果需要可以使用 torch.sigmoid。

我们来看一下3种 sigmoid() 函数的区别：

1、torch.sigmoid() 函数

2、torch.nn.Sigmoid() 类

3、torch.nn.functional.sigmoid() 函数

5.5 Loss Function 损失函数

Loss function for （Linear Regression - Binary Classification） 如下图所示：

Mini-Batch Loss function for Binary Classification 如下图所示：

# 1、Linear Model 线性模型
criterion = torch.nn.MSELoss(reduction='sum')

#2、Logistic Regression Model 逻辑斯蒂回归模型
criterion = torch.nn.BCELoss(reduction='sum')

注意1、在函数 MSELoss 或 BCELoss 中，参数 size_average 和 reduce 均已被弃用：

注意2、MSELoss 和 BCELoss 的区别：

MSELoss： Mean Squared Error Loss 均方误差损失
BCELoss： Binary Cross Entropy Loss 二元交叉熵损失

5.6 Implementation 实施

在具体代码实现之前，我们需要导入所需要的包：

import torch
import numpy as np
import matplotlib.pyplot as plt
from torch import nn

5.6.1 Prepare Dataset 准备数据集

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])

5.6.2 Design Model 设计模型

class Liang(nn.Module):
    def __init__(self):
        super(Liang, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred


model = Liang()

5.6.3 Construct Loss and Optimizer 构造损失和优化器

criterion = torch.nn.BCELoss(reduction='sum')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

5.6.4 Training Cycle 训练周期

for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

5.6.5 Test Model 测试模型

# Output weight and bias
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

# Test
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.item())

5.6.6 绘图

x = np.linspace(0, 10, 200)  # 返回0~10等间距的200个数
x_t = torch.Tensor(x).view((200, 1))  # 200行1列的Tensor
y_t = model(x_t)
y = y_t.data.numpy()  # 将torch.Tensor转换为numpy.ndarray

plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], color='red')  # 画线，x取0~10，y取0.5
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()  # 显示网格线（1或True 默认显示；0或False 不显示）
plt.show()

5.6.7 完整代码

import torch
import numpy as np
import matplotlib.pyplot as plt
from torch import nn

# Prepare dataset
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


# Design model
class Liang(nn.Module):
    def __init__(self):
        super(Liang, self).__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred


model = Liang()

# Construct loss and optimizer
criterion = torch.nn.BCELoss(reduction='sum')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# Training cycle
for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# Output weight and bias
print('w = ', model.linear.weight.item())
print('b = ', model.linear.bias.item())

# Test Model
x_test = torch.Tensor([[4.0]])
y_test = model(x_test)
print('y_pred = ', y_test.item())

# Result
x = np.linspace(0, 10, 200)  # 返回0~10等间距的200个数
x_t = torch.Tensor(x).view((200, 1))  # 200行1列的Tensor
y_t = model(x_t)
y = y_t.data.numpy()  # 将torch.Tensor转换为numpy.ndarray

plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], color='red')  # 画线，x取0~10，y取0.5
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()  # 显示网格线（1或True 默认显示；0或False 不显示）
plt.show()

0 2.7373640537261963
1 2.693269729614258
2 2.651460647583008
...
995 1.0572519302368164
996 1.0567638874053955
997 1.0562764406204224
998 1.055789589881897
999 1.0553032159805298
w =  1.1830791234970093
b =  -2.858741283416748
y_pred =  0.8668714165687561