最近在撸pytorch框架,这里参考深度学习经典数据集mnist的“升级版”fashion mnist,来做图像分类,主要目的是熟悉pytorch框架,代码中包含了大量的pytorch使用相关的注释。
1. 数据集介绍
(1)MNIST
MNIST是深度学习最基本的数据集之一,由CNN鼻祖yann lecun建立的一个手写字符数据集,包含60000张训练图像和10000张测试图像,包含数字0-9共10个类别.
(2)FASHION MNIST
由于MNIST数据集太简单,简单的网络就可以达到99.7%的top one准确率,也就是说在这个数据集上表现较好的网络,在别的任务上表现不一定好。因此zalando research的工作人员建立了fashion mnist数据集,该数据集由衣服、鞋子等服饰组成,包含70000张图像,其中60000张训练图像加10000张测试图像,图像大小为28x28,单通道,共分10个类,如下图,每3行表示一个类。
数据集信息如下:
数据集共分10个类,类别描述如下:
2. pytorch进行分类
pytorch中提供了这个数据集的下载接口,下面分别使用全连接网络和CNN网络来进行分类
(1)FC网络
输入图像大小为28x28,设计如下全连接网络,代码命名为02_fashion_mnist_fc.py
FC1(784) + Relu(1000) + FC2(500) + Relu + FC3(200) + Relu3 + FC4(10) + log_softmax
from __future__ import print_function # 从future版本导入print函数功能
import argparse # 加载处理命令行参数的库
import torch # 引入相关的包
import torch.nn as nn # 指定torch.nn别名nn
import torch.nn.functional as F # 引用神经网络常用函数包,不具有可学习的参数
import torch.optim as optim
from torchvision import datasets, transforms # 加载pytorch官方提供的dataset
class Net(nn.Module):
def __init__(self):
super(Net, self).__init__()
self.fc1 = nn.Linear(784, 1000) # 784表示输入神经元数量,1000表示输出神经元数量
self.fc2 = nn.Linear(1000, 500)
self.fc3 = nn.Linear(500, 200)
self.fc4 = nn.Linear(200, 10)
def forward(self, x):
x = x.view(-1, 28*28)
x = F.relu(self.fc1(x))
x = F.relu(self.fc2(x))
x = F.relu(self.fc3(x))
x = self.fc4(x)
return F.log_softmax(x, dim=1) #Applies a softmax followed by a logarithm, output batch * classes tensor
def train(args, model, device, train_loader, optimizer, epoch):
model.train()
for batch_idx, (data, target) in enumerate(train_loader):
data, target = data.to(device), target.to(device)
optimizer.zero_grad()
output = model(data)
loss = F.nll_loss(output, target) # negative log likelihood loss(nll_loss), sum up batch cross entropy
loss.backward()
optimizer.step() # 根据parameter的梯度更新parameter的值
#print(epoch, batch_idx, type(batch_idx))
if batch_idx % args.log_interval == 0:
print('Train Epoch: {} [{}/{} ({:.0f}%)]\tLoss: {:.6f}'.format(
ep