Ep9 多分类问题

以多种角度看世界

于 2023-04-22 18:02:50 发布

阅读量112

点赞数

文章标签：分类机器学习人工智能

本文链接：https://blog.csdn.net/Amber_19950706/article/details/130287180

版权

1、softmax

softmax前不需要激活函数。

使用softmax是为了满足

（1）各个类别的概率大于0；

（2）各个概率之和=1；

使用one hot编码器对类别进行“二进制化”操作，然后将其作为模型训练的特征

2、NLLloss

nn.NLLLoss输入是一个对数概率向量和一个目标标签，它与nn.CrossEntropyLoss的关系可以描述为：softmax(x)+log(x)+nn.NLLLoss====>nn.CrossEntropyLoss

在实际训练中，如果做的是分类任务，且使用CrossEntropyLoss作为损失函数的话，神经网络的部分就没必要加入nn.Softmax或者nn.LogSoftmax等之类的，因为在CrossEntropyLoss已经内置了该功能。

3、代码解释

3.4 _, predicted = torch.max(outputs.data, dim=1)

比如说测试集有10个数据，那么训练好的网络将会预测这10个数据，得到一个10×2的矩阵（假设是二分类问题），比如说预测结果是下面这个矩阵。

dim=1 输出每个样本的预测类别

(52条消息) PyTorch系列 | _, predicted = torch.max(outputs.data, 1)的理解_torch.max(outputs.data,1)_麻瓜1号的博客-CSDN博客

3.5 概念更正训练集、验证集和测试集

机器学习干货篇：训练集、验证集和测试集 - 知乎 (zhihu.com)

3.6 if name == ‘main‘

(52条消息) Python中if __name__ == ‘__main__‘：的作用和原理_python if_农村詹姆斯的博客-CSDN博客

4、代码

import torch
from torchvision import transforms # 对数据进行原始处理
from torchvision import datasets
from torch.utils.data import DataLoader
import torch.nn.functional as F #激活函数
import torch.optim as optim

# prepare dataset
# MNIST数据集是机器学习领域中非常经典的一个数据集，由60000个训练样本和10000个测试样本组成，每个样本都是一张28 * 28像素的灰度手写数字图片。
batch_size = 64
transform = transforms.Compose([transforms.ToTensor(), transforms.Normalize((0.1307,), (0.3081,))])  # 先转换成Tensor，再归一化,均值和方差，这两个统计值是自己定的

train_dataset = datasets.MNIST(root='../dataset/mnist/', train=True, download=True, transform=transform) # 下载数据集到该py文件上一层目录中，
train_loader = DataLoader(train_dataset, shuffle=True, batch_size=batch_size) #加载数据集
test_dataset = datasets.MNIST(root='../dataset/mnist/', train=False, download=True, transform=transform)
test_loader = DataLoader(test_dataset, shuffle=False, batch_size=batch_size)


## design model using class


class Net(torch.nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.l1 = torch.nn.Linear(784, 512)
        self.l2 = torch.nn.Linear(512, 256)
        self.l3 = torch.nn.Linear(256, 128)
        self.l4 = torch.nn.Linear(128, 64)
        self.l5 = torch.nn.Linear(64, 10)

    def forward(self, x):
        x = x.view(-1, 784)  # x.view()就是对tensor进行reshape；X.view(-1)中的-1本意是根据另外一个数来自动调整维度，但是这里只有一个维度，因此就会将X里面的所有维度数据转化成一维的，并且按先后顺序排列
        x = F.relu(self.l1(x))
        x = F.relu(self.l2(x))
        x = F.relu(self.l3(x))
        x = F.relu(self.l4(x))
        return self.l5(x)  # 最后一层不做激活，不进行非线性变换


model = Net()

# construct loss and optimizer
criterion = torch.nn.CrossEntropyLoss()
optimizer = optim.SGD(model.parameters(), lr=0.01, momentum=0.5)


# training cycle forward, backward, update


def train(epoch):
    running_loss = 0.0
    for batch_idx, data in enumerate(train_loader, 0):#索引从0开始 data里面包含图像数据（inputs）(tensor类型的）和标签（labels）(tensor类型）。enumerate()用于可迭代\可遍历的数据对象组合为一个索引序列，同时列出数据和数据下标.
        # 获得一个批次的数据和标签
        inputs, target = data
        optimizer.zero_grad()
        # 获得模型预测结果(64, 10)
        outputs = model(inputs)
        # 交叉熵代价函数outputs(64,10),target（64）
        loss = criterion(outputs, target)
        loss.backward()
        optimizer.step()

        running_loss += loss.item()
        # print(epoch, batch_idx, loss.item) #batch_idx=937=60000/64
        # if batch_idx % 300 == 299:#取模 - 返回除法的余数,只打印300，600，900
        #     print('[%d, %5d] loss: %.3f' % (epoch + 1, batch_idx + 1, running_loss / 300))#把前300个loss，300-600个loss，600-900个loss加起来取平均
        #     running_loss = 0.0


def test():
    correct = 0
    total = 0
    with torch.no_grad():#只是计算loss，并没有让loss去更新网络参数
        for data in test_loader:#测试的时候不需要batch
            images, labels = data
            outputs = model(images)
            _, predicted = torch.max(outputs.data, dim=1)  # dim = 1 列是第0个维度，行是第1个维度
            total += labels.size(0) #
            correct += (predicted == labels).sum().item()  # 张量之间的比较运算
    print('accuracy on test set: %d %% ' % (100 * correct / total))


# if __name__ == '__main__':
for epoch in range(10):
    train(epoch)
        # test()