Pytorch学习笔记第六课逻辑斯特回归sigmoid和BCELoss

笔记来源于B站up主，@刘二大人

视频链接06.逻辑斯蒂回归_哔哩哔哩_bilibili

此讲内容与之前有所不同，一个是线性回归问题，一个是二分类问题

之前我们一直在利用网络生成这条曲线

采用的是均方误差损失MSELoss：，计算的是相同输入下，y_hat和y输出的差值 

sigmoid函数：，可以将输出限制到0-1之间，变成一个概率分布

x = [1,2,3]

y = [0,0,1]

表示实际中的问题是，当复习时长小于3小时候的时候考试成绩为不合格；3小时是分界线，大于3小时候的时候考试成绩合格。合格为1，不合格为0

由于是判断合格与否的二分类问题，所以采用二分类交叉熵损失BCELoss：

随机梯度下降法SGD更新权重w：

代码如下：

import torch
import numpy as np
import matplotlib.pyplot as plt
# import torch.nn.functional as F

# 准备数据集
x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


# 用类方法定义模型
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        super(LogisticRegressionModel, self).__init__()
        self.linear = torch.nn.Linear(1, 1)

    def forward(self, x):
        # y_pred = F.sigmoid(self.linear(x))新版本已经弃用
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred


model = LogisticRegressionModel()

# 创建损失函数和优化器
# size_average=False的话，loss将进行累加，默认为取均值
criterion = torch.nn.BCELoss(size_average=False)
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)


for epoch in range(1000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

x = np.linspace(0,10,200)
x_t = torch.Tensor(x).view((200,1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x,y)
plt.plot([0,10],[0.5,0.5],c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()

输出结果：

从图像中可以看到，2h不合格，3h合格，当时间为x=2.5时候y=0.5，正好卡在合格和不合格之间

部分代码解读：

optimizer.step()是PyTorch中优化器对象的一个方法，用于更新模型的参数。在训练深度神经网络的过程中，我们需要通过反向传播算法计算每一个参数对损失函数的梯度，然后使用优化器更新参数，使得损失函数最小化。而optimizer.step()方法就是用于执行参数更新的。

具体来说，当我们调用optimizer.step()时，优化器会根据每个参数的梯度和学习率等超参数来更新模型的参数。通常使用随机梯度下降（SGD）或其变体（如Adam）来更新参数。更新后的参数可以通过模型对象的.parameters()方法来获取。

需要注意的是，每次调用step()方法之前，我们需要手动将每个参数的梯度清零，以避免梯度累加。这可以通过优化器的.zero_grad()方法来实现。

总结一下，optimizer.step()方法的作用是将每个参数的梯度和学习率等超参数结合起来，更新模型的参数，从而最小化损失函数。
原文链接：optimizer.step()代表什么意思_optim.step()-CSDN博客https://blog.csdn.net/qq_36693723/article/details/130320768

torch.sigmoid(): 这是一个直接的函数调用，适用于任何需要计算Sigmoid函数的情况。这个函数接受一个张量作为输入，并返回一个新的张量，其中包含输入张量中每个元素的Sigmoid值。

torch.nn.Sigmoid(): 这是一个类定义，通常用在定义神经网络模型的类中，作为一个层来使用。这个类创建了一个可调用的对象，当调用这个对象时，会计算输入张量的Sigmoid值。

torch.sigmoid()、torch.nn.Sigmoid()和torch.nn.functional.sigmoid()三者之间的区别-CSDN博客https://blog.csdn.net/crazyjinks/article/details/130630367