Pytorch深度学习——多分类问题、MNIST训练实例（B站刘二大人P9学习笔记）

已于 2023-03-23 11:23:29 修改
阅读量3.7k 收藏 29
点赞数 4
分类专栏： PyTorch学习笔记 文章标签： pytorch 深度学习 分类 神经网络 人工智能
于 2022-01-18 13:28:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Learning_AI/article/details/122535081
版权

目录

1 Softmax层介绍

2 选择Loss函数

2.1 NLLLoss损失函数

2.2 CrossEntropyLoss损失函数

3 MNIST训练实例代码详解

3.1 准备数据集

3.2 建立模型

3.3 构建损失函数和优化器

3.4 训练+测试

3.5 完整代码+运行结果

4 遇到问题

        本节课以深度学习经典数据集MNIST数据集为例展开，如图所示是MNIST数据集的一张样例图，每个方框中是手写的数字。而我们需要做的事情就是：根据数据集中的数据，利用深度学习，让机器能够自己识别每个方框中的数字。

        数字一共有0~9一共10种类别，利用深度学习来识别十种数字的类别，这就是多分类问题。

         之前在糖尿病数据集的学习中，我们遇到的是二分类问题，也就是病人一共只有患病(y=1)和不患病(y=0)两种分类，知道y=1的概率，那y=0的概率就等于1-P(y=1)，比较两个概率的大小，很容易就可以区分该病人属于哪一个分类。

         而多分类问题不同，以MNIST数据集为例，需要计算出每个方框属于不同数字的10个概率，这10个概率需要满足：

  1.         P\left ( y=i \right )> 0
  2.        \sum_{i=0}^{9}P(y=i)=1

        因此多分类问题我们通常选用Softmax函数作为神经网络的最后一层。

 1 Softmax层介绍

         Softmax函数公式如下：其中 Z_{i} 表示的是线性层输出的数值；对每层的线性层求指数，之后再计算每层指数值占总层数指数值之和的比例，就是计算出的该层次的概率。

    注意： 

  •          首先先对线性层输出的数值求指数，是为了保证计算出的数值一定是一个大于0的数，保证多分类问题中的条件1：P\left ( y=i \right )> 0。
  • 计算每个层次占总层次之和的比例，是为了保证多分类问题中的条件2：\sum_{i=0}^{9}P(y=i)=1

 一个简单的例子如下图所示：

2 选择Loss函数

2.1 NLLLoss损失函数

         NLLLoss损失函数如下图所示：（\widehat{y} 最大的对应的 y 值为1，其余都为0.）

          对应的损失函数代码如下所示：

import numpy as np
y = np.array([1, 0, 0])
z = np.array([0.2, 0.1, -0.1])
y_pred = np.exp(z) / np.exp(z).sum()
loss = (- y * np.log(y_pred)).sum()
print(loss)

2.2 CrossEntropyLoss损失函数

       CrossEntropyLoss损失函数是将Softmax层和NLLLoss损失函数整合在一。CrossEntropyLoss损失函数如下图所示：

        注意：使用CrossEntropyLoss损失函数时，神经网络的最后一层不需要做激活，（也就是不用经过Softmax层的计算），直接输入到CrossEntropyLoss损失函数中就可以，因为CrossEntropyLoss损失函数包含的Sofrmax层。

        对应的损失函数代码如下所示：

import torch
y = torch.LongTensor([0])
z = torch.Tensor([[0.2, 0.1, -0.1]])
criterion = torch.nn.CrossEntropyLoss()
loss = criterion(z, y)
print(loss)

3 MNIST训练实例代码详解

        我们之前学习的案例中，输入x都是一个向量；在MNIST数据集中，我们需要输入的是一个图像，怎样，图像怎么才能输入到模型中进行训练呢？一种方法是我们可以把图像映射成一个矩向量，再输入到模型中进行训练。

        怎样将一个图像映射成一个向量？

        如图所示是MNIST数据集中一个方格的图像，它是由28x28=784个像素组成，其中越深的地方数值越接近0，越亮的地方数值越接近1。

         因此可以将此图像按照对应的像素和数值映射成一个28x28的一个矩阵，如下图所示：

3.1 准备数据集

具体代码如下：

# 准备数据集
batch_size = 64
transform = transforms.Compose([
    transforms.ToTensor(),
#均值、标准差
    transforms.Normalize((0.1307, ), (0.3081, ))
])
train_dataset = datasets.MNIST(root='../dataset/mnist/',
                               train=True,
                               download=True,
                               transform=transform)
train_loader = DataLoader(train_dataset,
                          shuffle=True,
                          batch_size=batch_size)
test_dataset = datasets.MNIST(root='../dataset/mnist',
                              train=False,
                              download=True,
                              transform=transform)
test_loader = DataLoader(test_dataset,
                         shuffle=False,
                         batch_size=batch_size)

 注：

  1. 图像张量：灰度图（黑白图像）就是一个单通道的图像，彩色图像是多通道的图像（分别是R,G,B三个通道），一个通道具有高度——H，宽度——W，通道由——C表示。
  2. transform作用：再pytorch中读取图像时使用的是python的PIL，而由PIL读取的图像一般是由W x H x C组成，而在pytorch中为了进行更高效的图像处理，需要图像由C x W x H这样的顺序组成，因此transform的作用就是将PIL读取的图像顺序转换成C x W x H；像素值从0~255转换成0~1。

3.2 建立模型

        全连接网络中，要求输入的是一个矩阵，因此需要将1x28x28的这个三阶的张量变成一个一阶的向量，因此将图像的每一行的向量横着拼起来变成一串，这样就变成了一个维度为1x784的向量，一共输入N个手写数图，因此，输入矩阵维度为（N，784）。这样就可以设计我们的模型，如下图所示：

 具体代码：

# 设计模型
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.l1 = torch.nn.Linear(784, 512)
        self.l2 = torch.nn.Linear(512, 256)
        self.l3 = torch.nn.Linear(256, 128)
        self.l4 = torch.nn.Linear(128, 64)
        self.l5 = torch.nn.Linear(64, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = F.relu(self.l1(x))
        x = F.relu(self.l2(x))
        x = F.relu(self.l3(x))
        x = F.relu(self.l4(x))
        return self.l5(x)


model = Net()

3.3 构建损失函数和优化器

  1.   这里我们选择CrossEntropyLoss损失函数；
  2.   因为训练数据集有些大，所以优化器可以加上冲量参数。

  具体代码：

# 构建损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)

3.4 训练+测试

  1. 为了方便，这里我们将一轮训练循环封装成函数；
  2. test函数不需要反向传播，只用计算正向的就可以；
  3. torch.max的返回值有两个，第一个是每一行的最大值是多少，第二个是每一行最大值的下标(索引)是多少；
  4.  torch.no_grad() ：不需要计算梯度；
  5. Python 各种下划线都是啥意思_、_xx、xx_、__xx、__xx__、_classname_ - 知乎

具体代码：

# 定义训练函数
def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(train_loader, 0):
        inputs, target = data
        optimizer.zero_grad()
        # 前馈+反馈+更新
        outputs = model(inputs)
        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        # 每300次迭代输出一次
        if batch_idx % 300 == 299:
            print('[%d,%5d] loss:%.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))
            running_loss = 0.0


# 定义测试函数
def test():
    correct = 0
    total = 0
    with torch.no_grad():
        for data in test_loader:
            images, labels = data
            outputs = model(images)
            # 沿着第一维度找最大值的下标
            _, predicted = torch.max(outputs.data, dim=1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    print('Accuracy on test set:%d %%' % (100 * correct / total))



# 实例化训练和测试
if __name__ == '__main__':
    # 训练10轮
    for epoch in range(10):
        train(epoch)
        test()

3.5 完整代码+运行结果

完整代码：

import torch
from torchvision import transforms
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F
import torch.optim as optim

# 准备数据集
batch_size = 64
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.1307, ), (0.3081, ))
])
train_dataset = datasets.MNIST(root='../dataset/mnist/',
                               train=True,
                               download=True,
                               transform=transform)
train_loader = DataLoader(train_dataset,
                          shuffle=True,
                          batch_size=batch_size)
test_dataset = datasets.MNIST(root='../dataset/mnist',
                              train=False,
                              download=True,
                              transform=transform)
test_loader = DataLoader(test_dataset,
                         shuffle=False,
                         batch_size=batch_size)


# 设计模型
class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.l1 = torch.nn.Linear(784, 512)
        self.l2 = torch.nn.Linear(512, 256)
        self.l3 = torch.nn.Linear(256, 128)
        self.l4 = torch.nn.Linear(128, 64)
        self.l5 = torch.nn.Linear(64, 10)

    def forward(self, x):
        x = x.view(-1, 784)
        x = F.relu(self.l1(x))
        x = F.relu(self.l2(x))
        x = F.relu(self.l3(x))
        x = F.relu(self.l4(x))
        return self.l5(x)


model = Net()

# 构建损失函数和优化器
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)


# 定义训练函数
def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(train_loader, 0):
        inputs, target = data
        optimizer.zero_grad()
        # 前馈+反馈+更新
        outputs = model(inputs)
        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        if batch_idx % 300 == 299:
            print('[%d,%5d] loss:%.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))
            running_loss = 0.0


# 定义测试函数
def test():
    correct = 0
    total = 0
    with torch.no_grad():
        for data in test_loader:
            images, labels = data
            outputs = model(images)
            _, predicted = torch.max(outputs.data, dim=1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    print('Accuracy on test set:%d %%' % (100 * correct / total))



# 实例化训练和测试
if __name__ == '__main__':
    for epoch in range(10):
        train(epoch)
        test()

运行截图如下：

4 遇到问题

运行时遇到警告：The given NumPy array is not writeable,and PyTorch does not support non-writeable tensor，如图：

 按照路径找到mnist.py文件：

 点开修改：删除copy+False，就没有报错，程序可以继续运行了

学习CV的研一小白
关注
  • 4
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 14
    评论
专栏目录
动手学深度学习之分类案例2
程序猿一帆
02-25 312
本节使用预训练好的ResNet-34模型来完成Kaggle竞赛中的犬种识别挑战，这里会用到模型微调的技巧，复用预训练的模型是大型比赛常常会用到的方法。 实验内容 整理数据集 图像增强 读取数据 定义模型 定义训练函数 调参 在完整数据及上训练模型 对测试集分类并提交结果 ...
torch学习笔记——多分类问题（1）
wangziyanger的博客
10-19 862
信息量（I（x))：当一个事件发生的概率越大，它所包含的信息量也就越少。熵（H（x))：表示系统的混乱程度，代表一个系统内信息量的总和，熵越大表示系统越混乱交叉熵（H（a,b))：表示a,b之间的相似程度，越小表示越接近。对于多分类问题，不能像二分类那样一种情况发生的概率是1，另外几种的都是零。比如掷色子，每个点位出现的概率都是1/6，而不是1或0.所以，在多分类的任务里，我们要保证两点，1：每个情况出现的概率大于等于0；
PyTorch深度学习实践---以MNIST手写识别训练为例
qq_54441735的博客
04-08 631
以MNIST数据集为例，学习简单的卷积神经网络，代码原理基本掌握，参考PyTorch文档可以重复代码，共同学习互勉
【深度学习】卷积神经网络-图片分类案例(pytorch实现)
让算法融入生活，改变生活！
11-24 5809
前言 前文已经介绍过卷积神经网络的基本概念【深度学习】卷积神经网络-CNN简单理论介绍。下面开始动手实践吧。本文任务描述如下： 从公开数据集CIFAR10中创建训练集、测试集数据，使用Pytorch构建CNN模型对训练集数据进行训练，然后在测试集中测试，查看简单的CNN模型训练效果如何。 CIFAR10公开数据地址：http://www.cs.toronto.edu/~kriz/cifar.html。CIFAR-10数据集包含 60000 张 32x32 的彩色 10 中类型的数据, 其中50000张训练图
pytorch搭建多层神经网络解决多分类问题（采用MNIST数据集）
gary101818的博客
01-11 3987
前置知识可以参考同系列文章： 目录pytorch搭建神经网络解决多分类问题softmax损失函数多分类的实现数据的准备构建模型、损失函数及优化器训练及测试部分训练结果 pytorch搭建神经网络解决多分类问题 softmax 核心：最后一层使用softmax层 1.求指数将负值转化为非负值 2.分母将所有输出求和（归一化） 保证条件如下： 损失函数 使用负对数似然函数（只有y=1的项才真正被计算，为0不影响结果）： 交叉熵损失函数的使用 1.不需要单独使用sofmax（已经被包含在CrossEntro
使用Pytorch完成多分类问题
小李的研究生学习日记
11-06 1万+
多分类问题在最后的输出层采用的Softmax Layer，其具有两个特点：1.每个输出的值都是在(0,1)；2.所有值加起来和为1. 假设是最后线性层的输出，则对应的Softmax function为： 输出经过sigmoid运算即可是西安输出的分类概率都大于0且总和为1。 上图的交叉熵损失就包含了softmax计算和右边的标签输入计算（即框起来的部分） 所以在使用交叉熵损失的时候，神经网络的最后一层是不要做激活的，因为把它做成分布的激活是包含在交叉熵损失里面的，最后一...
【Pytorch学习笔记】MNIST数据集的训练及简单应用（一）
m0_53396562的博客
08-04 4239
零、简单介绍 pytorch是一个开源的深度学习的框架。其本质是一个基于Python的科学计算包，能提供最大的灵活性和效率。 MNIST数据集包含70,000张手写数字的图像及标签。其中 60,000张用于训练，10,000张用于测试。图像是灰度的，28x28像素，并且居中的，以减少预处理和加快运行。如下图所示： CNN卷积神经网络，参见这个介绍。一个简单的卷积神经网络可包括卷积层，池化层，和全连接层。就是说，训练好之后，给这个网络输入一张手写数字的图片，经过这些个层之后，就可以输出这个数
B站刘二大人Pytorch课程学习笔记及课后作业
09-09
内容概要：本人在学习B站刘二大人Pytorch实践课程时，做的一些学习笔记。包含课程要点、教学源码以及课后作业和作业源码。 目录： 第一讲 概述 第二讲 线性模型创建 第三讲 梯度下降算法 第四讲 反向传播机制 第五讲...
刘二大人Pytorch深度学习实践的ppt
01-18
刘二大人Pytorch深度学习实践的ppt
刘二大人PyTorch深度学习课程课件
09-02
刘二大人PyTorch深度学习课程课件
基于ubuntu的pytorch深度学习实现多功能分类垃圾桶项目.zip
最新发布
04-14
基于ubuntu的pytorch深度学习实现多功能分类垃圾桶项目.zip基于ubuntu的pytorch深度学习实现多功能分类垃圾桶项目.zip基于ubuntu的pytorch深度学习实现多功能分类垃圾桶项目.zip基于ubuntu的pytorch深度学习实现多...
基于tensorflow的深度学习图像分类案例
09-07
基于tensorflow的深度学习图像分类案例，适合初学！
Pytorch 实现focal_loss 多类别和二分类示例
09-18
今天小编就为大家分享一篇Pytorch 实现focal_loss 多类别和二分类示例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
深度学习pytorch进行实现基本MNIST分类任务附代码
01-25
那么我们就进行一个简单的深度学习pytorch进行基本的包内置的MNIST数据集分类构建，数据集的导入，构建模型，优化器（可以设置一个学习率下降方法）进行反向梯度下降进行预测w,b参数更新，预测，评估模型等等。...
mnist数据集训练_分类实例：MNIST数据集
weixin_39553352的博客
12-05 1942
01MNIST数据集读取数据MNIST datasets 有70000个手写数字图片，每一个都标注了对应的数字。每一张图片有784个特征，因为每一张图片有(28*28)784个像素点，每一个像素点的强度用0(白色)到255(黑色)表示。分割测试集和训练集将训练集打乱。有些算法对于训练实例的顺序很敏感。部分数据集02训练二分类器训练目标：识别数字是不是5(5-detector)首先使用St...
【Pytorch基础】torch.nn.CrossEntropyLoss损失函数介绍
热门推荐
sxl的博客
05-10 1万+
目录1 交叉熵的定义2 交叉熵的数学原理3 Pytorch交叉熵实现3.1 举个栗子3.2 Pytorch实现3.3 F.cross_entropy参考文献 1 交叉熵的定义   交叉熵主要是用来判定实际的输出与期望的输出的接近程度，为什么这么说呢，举个例子：在做分类的训练的时候，如果一个样本属于第K类，那么这个类别所对应的的输出节点的输出值应该为1，而其他节点的输出都为0，即[0,0,1,0,….0,0]，这个数组也就是样本的Label，是神经网络最期望的输出结果。也就是说用它来衡量网络的输出与标签的差异
pytorch从零搭建神经网络实现多分类(训练自己的数据集)
pomelo的博客
07-03 1万+
简介 本文介绍如何使用pytorch搭建基础的神经网络，解决多分类问题。主要介绍了两个模型：①全连接层网络；②VGG11卷积神经网络模型(下次介绍)。为了演示方便，使用了Fashion-Mnist服装分类数据集（10分类数据集，介绍可以去网上搜一下，这里不赘述），也可以在自己的制作的数据集上训练（后面会稍作介绍）。在文章最后会附上完整的可运行的代码。 1 全连接层网络 全连接层网络包括输入层、隐藏层以及输出层。其中隐藏层中可以包括多个全连接层，理论上可以加无数层，加的越多，网络的深度越深。每个全连接层中可以
pytorch小例子mnist
tensorflow mnist
04-19 581
import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim from torch.autograd import Variable from torchvision import transforms, datasets batch_size = 64 t...
实验十一、使用PyTorch训练MNIST数据集上的卷积神经网络
qq_42440859的博客
06-01 2096
使用PyTorch训练MNIST数据集上的卷积神经网络
pytorch深度学习分类
01-28
PyTorch是一个开源的机器学习库，它提供了丰富的工具和函数，用于构建和训练深度学习模型。深度学习分类是指使用神经网络对数据进行分类的任务，其中PyTorch可以帮助我们实现这一目标。 首先，我们可以使用PyTorch内置的数据集类来加载和准备我们的数据，例如ImageFolder类可以用来加载图像数据集，而对于其他类型的数据集，我们也可以自定义数据集类来进行加载。之后，我们可以使用PyTorch提供的网络模型，如ResNet、VGG等，或者自己创建神经网络模型来进行分类任务。 在模型构建完成后，我们可以使用PyTorch提供的优化器和损失函数来训练我们的模型。通过调用优化器的step方法，可以对模型的参数进行优化更新，而损失函数则可以帮助我们计算模型预测结果与真实标签之间的误差，从而指导模型的优化过程。 在训练过程中，我们还可以使用PyTorch提供的工具来对模型进行评估，如计算准确率、查准率和查全率等指标。另外，PyTorch还提供了可视化工具，如TensorBoard，可以帮助我们直观地观察模型的训练过程，并及时发现模型的问题。 综上所述，PyTorch提供了丰富的工具和函数，可以帮助我们方便地构建、训练和评估深度学习模型，从而完成对数据集的分类任务。通过使用PyTorch，我们可以更加高效地进行深度学习分类的工作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 14
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

学习CV的研一小白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值