PyTorch深度学习——逻辑斯蒂回归(分类问题)(B站刘二大人P6学习笔记)

目录

1 什么是分类问题?

2 为什么要使用逻辑斯蒂回归?

3 Sigmid Founction(逻辑斯蒂回归函数)

3.1 模型的改变

3.2 损失函数的改变(BCE Loss)

 3.3 代码的改变


1 什么是分类问题?

       分类问题,与之前学习的线性回归问题不同,输出的是分类的概率值,在训练过程中,计算它属于每一个分类的所有概率,其中概率最大的那一种分类,就是我们要的输出结果。
       (在PyTorch中 torchvison包 提供一些主流的数据集,root:下载路径。train:是选择训练集还是测试集。download:是否需要下载,第一次使用需要下载)。
       现在我们将之前的学习问题,修改成分类问题,x表示学习时间,y表示通过率,0表示不通过,1表示通过,这也叫做”二分类问题“


 2 为什么要使用逻辑斯蒂回归?

       在之前我们的学习中,\widehat{y}=wx+b 最终预测的是一个实数,而针对分类问题,我们要把\widehat{y} 输出的实数映射成一个0到1的概率( \widehat{y} \epsilon[0,1] ),这个映射的过程就是本节课所学的逻辑斯蒂回归,逻辑斯蒂回归利用公式\delta (x)=\frac{1}{1+e^{-x}},将实数域的数值映射到 [0.1]范围内的概率。逻辑斯蒂函数的图像如下所示:

 逻辑斯蒂函数在数学界被分为——饱和函数。

计算概率的方式:将原本计算的实数\widehat{y}作为变量输入到逻辑斯蒂函数中,输出的就是映射之后的概率值。


3 Sigmid Founction(逻辑斯蒂回归函数)

     Sigmid Founction需要满一下三个条件:

  1. 函数值有极限
  2. 是单调增函数
  3. 是饱和函数

     Sigmid Founction中最具有典型性的函数就是逻辑斯蒂函数。其他的一些Sigmid Founction如下图所示:

3.1 模型的改变

      之前学习的函数与逻辑斯蒂回归函数的计算图的区别:可以看出逻辑斯蒂回归函数在计算出\widehat{y}之后,还多了一步——通过使用逻辑斯蒂回归函数,把实数值映射到【0,1】的区间中,再输出\widehat{y}

注:( \delta一般就代表逻辑斯蒂回归)

3.2 损失函数的改变(BCE Loss)

之前学习的函数的损失:计算的是两个实数值的差值,是数轴上的距离。

逻辑斯蒂回归函数的损失:输出的是一个分布,需要计算的是两类分布之间的差异,在统计学中的计算方法有——KL散度,cross-entropy(交叉熵)等,这里我们使用的是cross-entropy(交叉熵)方法。

 交叉熵:例如:现有两个分布 P_{D1}(x) 和 P_{D2}(x) ,此时交叉熵公式为:

                                                     \sum_{x}^ {}P_{D1}(x)ln P_{D2}(x),   x\epsilon (0,n)

      这个公式的值表示两个分布之间的差异的大小,值越大,差异越小。在本例中,在公式前加了负号,目的是为了符合我们的平时思维,使Loss越小,差异越小。

具体解释:在本例中,是二分类问题,y 的取值只能是0或1,\widehat{y}的取值只能 \epsilon [0,1],Loss函数如下:

  1. 当 y=1 时,(1-y)log(1-\widehat{y})=0,此时Loss=-(ylog\widehat{y}),因为y=1log 函数是单调递增函数,此时 \widehat{y}越大,也就是越接近1,Loss 的值越小,差异越小;
  2. 当 y=0 时,ylog\widehat{y}=0,此时Loss=-((1-y)log(1-\widehat{y})),因为y=0log 函数是单调递增函数,此时 \widehat{y}越小,也就是越接近0,Loss 的值越小,差异越小;

(有点绕,可以自己多推几次)

最终我们计算的Loss总和公式如下:


补充: 关于交叉熵的详细解释见链接:

一文搞懂交叉熵在机器学习中的使用,透彻理解交叉熵背后的直觉_史丹利复合田的博客-CSDN博客

 3.3 代码的改变

  • def  __init__没有改变:原因是,\delta (x)(逻辑斯蒂回归函数)是一个没有参数的函数,不需要在构造函数中进行初始化,直接调用就可以;

  • 数据集的改变:因为是二分类问题,y 的取值只能是0或1;

  • 模型的改变:由于PyTorch版本更新,不用再导入torch.nn.functional包,可以直接使用包中的Sigmoid函数进行训练,如下图;

  • 损失函数的改变:不再使用MSE损失函数,改为使用BCE损失函数,由于PyTorch版本更新,将  size_average=False 更改为  reduction='sum'


完整代码如下:

import matplotlib.pyplot as plt
import torch
import matplotlib.pyplot as pl
import numpy as np

x_data = torch.Tensor([[1.0], [2.0], [3.0]])
y_data = torch.Tensor([[0], [0], [1]])


class LogisticRegressionModel(torch.nn.Module):
    # 构造函数:初始化对象默认调用的函数
    def __init__(self):
        # 必写
        super(LogisticRegressionModel, self).__init__()
        # 构造对象
        self.linear = torch.nn.Linear(1, 1)

    # 前馈任务所要进行的计算
    def forward(self, x):
        y_pred = torch.sigmoid(self.linear(x))
        return y_pred


# 实例化
model = LogisticRegressionModel()

# 损失函数对象
criterion = torch.nn.BCELoss(reduction='sum')
# 优化器对象
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)

# 进行训练
for epoch in range(1000):
    # 计算y hat
    y_pred = model(x_data)
    # 计算损失
    loss = criterion(y_pred, y_data)
    print(epoch, loss.item())

    # 所有权重每次都梯度清零
    optimizer.zero_grad()
    # 反向传播求梯度
    loss.backward()
    # 更新,step()更新函数
    optimizer.step()

# 画图
x = np.linspace(0, 10, 200)
x_t = torch.Tensor(x).view((200, 1))
y_t = model(x_t)
y = y_t.data.numpy()
plt.plot(x, y)
plt.plot([0, 10], [0.5, 0.5], c='r')
plt.xlabel('Hours')
plt.ylabel('Probability of Pass')
plt.show()

运行截图如下:

  • 8
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学习CV的研一小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值