《Pytorch - 逻辑回归模型》

2020年10月4号，依然在家学习。
今天是我写的第二个 Pytorch程序，从今天起也算是入门了。
这里是简单的实现了逻辑回归开始。

回顾线性回归，线性模型如下 y = wx + b，图画的丑了，意思到了就行。

回顾逻辑回归，线性模型如下 y =σ(wx + b) ，图画的丑了，意思到了就行。

也就是逻辑回归其实就是在之前的线性回归的基础上增加了一个 sigmoid函数层。而且误差损失函数也会发生变化，需要使用二分类的误差损失函数，具体细节在很早的博文机器学习里面有介绍，这里就不多赘述了。

话不多说，我就直接上代码实例描述，代码的注释我都是用中文直接写的。

import torch
import torch.nn.functional as F

# Step 1: ========创建模型========
# 定义一个类，继承自 torch.nn.Module，torch.nn.Module是callable的类
# 在整个类里面重新定义一个逻辑回归模型 y = sigmod(wx+b)，也可以理解成内置一个线性层。
# 整个子类需要重写forward函数，
class LogisticRegressionModel(torch.nn.Module):
    def __init__(self):
        # 调用父类的初始化函数，必须要的
        super(LogisticRegressionModel, self).__init__()

        # 创建一个线性层，作为内置层，也是实例化一个torch.nn.Linear对象，输入数据是一维的，输出数据也是一维的，默认包含偏置参数
        # torch.nn.Linear也是callable的类
        self.linearLayer = torch.nn.Linear(1, 1)

    def forward(self, x):
        # 使用这个包下面的sigmoid函数做激活
        y_out = F.sigmoid(self.linearLayer(x))
        return y_out


# 创建和实例化一个整个模型类的对象
Logistic_Model = LogisticRegressionModel()
# 打印出整个模型
print(Logistic_Model)

# Step 2: ========定义损失函数和优化器========
# 定义一个均方差误差损失函数 binary classification error loss
Logistic_Criterion = torch.nn.BCELoss(size_average=True)
# 创建一个优化器，是用来做参数训练的，或者说是反向传播后更新参数，线性回归一般选择随机梯度下降，当然还有其他的梯度下降的方式。
# lr 就是learning rate，把模型的所有参数都交给优化器，反向传播中，优化器会递归地计算参数的偏导数以及做参数更新。
Logistic_Optimizer = torch.optim.SGD(Logistic_Model.parameters(), lr=0.01)


# Step 3: ========得到数据========
# 为了方便演示和学习，这里我随意构造几个数据
x_data = torch.Tensor([[1.0], [2.0], [3.0], [4.0], [5.0], [6.0], [7.0], [8.0]])
y_data = torch.Tensor([[0], [0], [0], [0], [1], [1], [1], [1]])

# Step 4: ========开始训练========
# 迭代进行训练
iteration = 100
for itr in range(iteration):

    # 计算前向传播，也就是计算输出
    # 由于模型是callable的，最后会自动调用__callable__函数，再其中就有一个是forward函数调用。
    y_output = Logistic_Model(x_data)
    # 得到损失值
    loss = Logistic_Criterion(y_output, y_data)
    print("in the ", itr, "th iteration, loss is", loss.item())

    # 反向传播，也就是对参数进行训练，需要注意的是，需要把优化其中上一次计算的梯度值清0
    Logistic_Optimizer.zero_grad()
    # 计算反向的各个参数的偏导数
    loss.backward()
    # 更新参数
    Logistic_Optimizer.step()

# 打印出参数
print("w is: ", Logistic_Model.linearLayer.weight.item())
print("b is: ", Logistic_Model.linearLayer.bias.item())