PyTorch 入门与实践（一）逻辑斯蒂回归

来自 B 站刘二大人的《PyTorch深度学习实践》P6 的学习笔记

Logistic Function（Sigmoid）：

$$\sigma (x)=\frac{1}{1+e^{-x}}，可知\sigma (x)\in (0,1)，用于概率预测。$$

各种 Sigmoid 函数：

只需在线性回归模型最后加入 Sigmoid 输出层即可做逻辑斯蒂回归预测：

二分类问题的损失函数

线性回归问题可以用距离来衡量预测结果；

但是分类问题需要使用 KL 散度或交叉熵做概率预测。


二分类问题的交叉熵损失：
Mini-Batch Loss Function for Binary Classification（BCE Loss）：
$$loss=-\frac{1}{N}\sum _{n=1}^N{y}_n\log {\hat{y}}_n+(1-y_n)\log (1-{\hat{y}}_n)$$

Implementation of Logistic Regression

以下是使用 PyTroch 建模和训练神经网络的四个一般步骤：

模拟的数据是学习时间和考试通过率，得到的输出的分布是拟合 Sigmoid 函数的；

可以观察到大于 3 小时的学习时间考试通过率才会大于 0.5，这与训练数据 $x\ge 3.0，y>0$ 是吻合的。

经本人测试的完整代码：

import numpy as np
import torch
from torch import nn, optim
from torch.nn import functional as F
import matplotlib.pyplot as plt
from torchvision import datasets

# train_set = datasets.MNIST(root="../datasets/mnist", train=True, download=True)
# test_set = datasets.MNIST(root="../datasets/mnist", train=False, download=True)

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


class LogisticRegressionModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.linear = nn.Linear(1, 1)

    def forward(self, x):
        y_pred = F.sigmoid(self.linear(x))
        return y_pred


model = LogisticRegressionModel()

criterion = nn.BCELoss()
optimizer = optim.SGD(model.parameters(), lr=0.01)

#loss_lst = []  # 保存loss值以便可视化

for epoch in range(10000):
    y_pred = model(x_data)
    loss = criterion(y_pred, y_data)
    print("epoch:", epoch, "loss:", loss.item())
    #loss_lst.append(loss.item())

    optimizer.zero_grad()
    loss.backward()
    optimizer.step()

# np.savetxt("./loss_lst.txt", loss_lst)

x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x, y)
plt.hlines(0.5, x[0], x[-1], c="r")
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.grid()
plt.show()