文本分类训练集 测试集_使用Pytorch加载本地Imagenet的训练集与验证集，Imagenet 2012验证集手动分类...

torchvision 中有一个常用的数据集类 ImageFolder，它假定了数据集是以如下方式构造的:

root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png

这里需要说明一下，root是你的根目录，ants和bees是root文件夹下的两个子文件夹，xxx.png、xxy.jpeg、xxz.png是ants文件夹下的图片，123.jpg、nsdf3.png、asd932_.png是bees文件夹下的图片，也就是说ants和bees是分类标签，利用这些你可以按如下的方式创建一个数据加载器 (dataloader) ,在这里我们以Imagenet数据集为例：

import torch
import torchvision
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
import torchvision.transforms as transforms

data_transform = transforms.Compose([
        transforms.Resize(299),
        transforms.CenterCrop(299),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                    	     std=[0.229, 0.224, 0.225])
    ])
train_dataset =torchvision.datasets.ImageFolder(root='ILSVRC2012/train',transform=data_transform)
train_dataset_loader =DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)

train_dataset = torchvision.datasets.ImageFolder(root='ILSVRC2012/val',transform=data_transform)
train_dataset_loader = DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)   

Imagenet一共有三个文件夹，分别是train、val、test，train里边有1000个文件夹分别代表1000个类每个类下边有1300张对应类别的图片，val里边有50000张验证集图片，用ImageFolder进行数据加载的时候，训练集直接按上述办法加载就好，而验证集我们需要对他进行处理，使用如下脚本把验证集50000张图片分别划分到相应类的文件夹中，再进行加载就可以了。

验证集分类脚本