pytorch实现分类遇到的一些问题

一. 利用torchsummary打印模型结构

（前言，pytorch版本为：1.7.1）

1. 安装torchsummary

pip install torchsummary

2. 代码如下：

import torch.nn as nn
import torch.nn.functional as F
from torchsummary import summary


class Net(nn.Module):
    def __init__(self):
        super(Net, self).__init__()
        self.conv1 = nn.Conv2d(1, 6, 5)
        self.conv2 = nn.Conv2d(6, 16, 5)
        self.fc1 = nn.Linear(256, 120)
        self.fc2 = nn.Linear(120, 84)
        self.fc3 = nn.Linear(84, 10)

    def forward(self, x):
        x = F.max_pool2d(F.relu(self.conv1(x)), 2)
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
        x = x.view(-1, 256)
        x = F.relu(self.fc1(x))
        x = F.relu(self.fc2(x))
        x = self.fc3(x)
        return x

summary(Net(), (1, 28, 28), device='cpu')

输出打印结果：

注意问题：torchsummary.summary的函数定义中，device默认是’cuda’, 打印时注意模型导入GPU，或者设置device参数为’cpu’**

二. 分类模型定义结尾要不要接入softmax?

先给出结论：不用

原因是，在计算loss的时候，pytorch的CrossEntropy已经默认是加入softmax了，如下图所示：

所以模型定义如第一节所示即可，如果在forward的return F.softmax(x, dim=1)，会出现准确率上不去的情况（我测试过在MNIST上只有89%左右的准确率~~~突出一个尴尬）。

三. 训练时计算loss为什么要乘以batch_size?

在pytorch官网的tutorial中发现找到的一段训练代码，具体地址为：https://pytorch.org/tutorials/beginner/transfer_learning_tutorial.html，在train_model函数中，running_loss += loss.item() * inputs.size(0)，如下图所示：

running_loss是一个epoch的loss总和，inputs.size(0)就是batch_size，那么loss.item()就是单个样本的平均loss，为什么会这样呢，主要还是pytorch的cross_entropy的定义，如下图所示：

pytorch的交叉熵损失函数有个reduction参数，默认值为’mean’，计算每个batch的loss时，会默认取平均，返回的就是单个样本的平均loss，所以计算一个batch_size的loss就要乘以batch_size。

结束。