torch学习笔记——LogisticRegressionModel

torch的步骤——1、准备数据，2、模型构建，3、损失与优化器的选择，4、训练循环

一、数据准备

        

import torch

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0.], [0.], [1.0]])

        其中y_data中的1与0表示的是类别，是与不是这个类的意思

二、模型构建

        

class Logisticmodel(torch.nn.Module):
    def __init__(self):
        super( Logisticmodel, self).__init__()
        self.linear = torch.nn.Linear
    def forward(self, x):
        y = F.sigmoid(self.linear)
        return y

        继承torch中的logisticmodel类别，并且改写前向函数再进行线性计算后，再用sigmoid函数进行一次计算。其目的是将所有值变为0-1中的一个数（概率值）

        sigmoid函数是为了将先行输出结果变为概率值。因为建立分类模型，不仅仅应该能够进行分类，同时也应该提供样本属于类别的概率

三、 损失与优化器的选择

        

loss = torch.nn.BCELoss(size_average=None)
opt = torch.optim.SGD(model.parameters(), lr=0.01)

对于BCEloss指的是交叉熵，表示的是两个分布之间的差异值（两个分布越像，则输出值越小），比如

        

         在第0次循环中，初始化的weight与bias计算出的y_pred 与 训练集的y_data的二叉熵较大，意味着二者相似度低。

        但是随着权重与偏置量的不断更新，使得y_pre与y_data近似都增高

        BCE的说明    

        定义

                数学公式为Loss = -w * [p * log(q) + (1-p) * log(1-q)]，其中p、q分别为理论标签、实际预测值，w为权重。这里的log对应数学上的ln。

        有四个可选参数：weight、size_average、reduce、reduction
(1) weight必须和target的shape一致，默认为none。定义BCELoss的时候指定即可。
(2) 默认情况下 nn.BCELoss()，reduce = True，size_average = True。
(3) 如果reduce为False，size_average不起作用，返回向量形式的loss。
(4) 如果reduce为True，size_average为True，返回loss的均值，即loss.mean()。
(5) 如果reduce为True，size_average为False，返回loss的和，即loss.sum()。
(6) 如果reduction = ‘none’，直接返回向量形式的 loss。
(7) 如果reduction = ‘sum’，返回loss之和。
(8) 如果reduction = ''elementwise_mean，返回loss的平均值。
(9) 如果reduction = ''mean，返回loss的平均值
————————————————
版权声明：本文为CSDN博主「利先生」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/Mrlione/article/details/109525253

BCE的说明

        优化器的选择：SGD是随机梯度下降，其中主要是可以选择学习率。其中

model.parameters()的作用是保存weight和bias参数值，生成生成器

四、训练循环

        

for times in range(100):
    print("%d次" % times)
    y_pre = model(x_data)
    loss1 = loss(y_pre, y_data)
    print(loss1.item())
    opt.zero_grad()
    loss1.backward()
    opt.step()

注意的是，在计算损失值的时候，先输入y_pre,再写y_data，对于opt

.zero_grad(),因为训练的过程通常使用minibatch的方法，如果梯度不及时清零，那么梯度会与上一个batch的数据相关。所以应该写在反向传播和梯度下降之前。

loss1.backward()，计算根据损失值loss1对权重与偏置的梯度，否则梯度下降无法更新梯度

opt.step()梯度更新

五、测试模型

x_text = torch.Tensor([[4.0]])
y_test = model(x_text)
print("测试结果是：", y_test.item())

        输入x的测试值，根据训练后的w,b值

        

根据训练结果，当输入是5时，归属于1类别的概率是52.65%，归属于0的概率是1-52.65% 

总结：本次训练的目的就是在提供的训练集的情况下，调整权重和偏置，使得y_pre与y_data接近（二叉熵变小），Logistic回归其实是分类问题，比如图像中有无人0为无，1为有。通过给定的训练集调整参数使得模型可以更好的识别目标

完整代码

import torch
import torch.nn.functional as F
x_data = torch.Tensor([[1.0], [2.0], [3.0], [4.0]])
y_data = torch.Tensor([[0.], [1.], [1.0], [0.]])
class Logisticmodel(torch.nn.Module):
    def __init__(self):
        super( Logisticmodel, self).__init__()
        self.linear = torch.nn.Linear(1,1)
    def forward(self, x):
        y = F.sigmoid(self.linear(x))
        return y
model = Logisticmodel()
loss = torch.nn.BCELoss(size_average=None)
opt = torch.optim.SGD(model.parameters(), lr=0.01)
for times in range(1000):
    print("%d次" % times)
    y_pre = model(x_data)
    loss1 = loss(y_pre, y_data)
    print(loss1.item())
    opt.zero_grad()
    loss1.backward()
    opt.step()
print("w = ", model.linear.weight.item())
print("b = ", model.linear.bias.item())
x_text = torch.Tensor([[5.0]])
y_test = model(x_text)
if y_test.item() > 0.5:
    print("1")
else:
    print("0")
print("测试结果是：", y_test.item())