Pytorch中ImageFolder的使用,如何使用Pytorch加载本地Imagenet的训练集与验证集,Imagenet 2012验证集的分类

Pytorch ImageFolder的使用,使用Pytorch加载本地Imagenet的训练集与验证集,Imagenet 2012验证集手动分类

torchvision 中有一个常用的数据集类 ImageFolder,它假定了数据集是以如下方式构造的:

root/ants/xxx.png
root/ants/xxy.jpeg
root/ants/xxz.png
.
.
.
root/bees/123.jpg
root/bees/nsdf3.png
root/bees/asd932_.png

这里需要说明一下,‘root’是你的根目录,'ants’和’bees’是’root’文件夹下的两个子文件夹,‘xxx.png’、‘xxy.jpeg’、'xxz.png’是‘ants’文件夹下的图片,‘123.jpg’、‘nsdf3.png’、'asd932_.png’是’bees’文件夹下的图片,也就是说’ants’和’bees’是分类标签(即不同类别的训练数据分别存储在不同的文件夹中),利用这些你可以按如下的方式创建一个数据加载器 (dataloader) ,在这里我们以Imagenet数据集为例:

import torch
import torchvision
import torch.nn as nn
import torch.optim as optim
from torch.utils.data import DataLoader
import torchvision.transforms as transforms

data_transform = transforms.Compose([
        transforms.Resize(299),
        transforms.CenterCrop(299),
        transforms.ToTensor(),
        transforms.Normalize(mean=[0.485, 0.456, 0.406],
                    	     std=[0.229, 0.224, 0.225])
    ])
train_dataset =torchvision.datasets.ImageFolder(root='ILSVRC2012/train',transform=data_transform)
train_dataset_loader =DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)

train_dataset = torchvision.datasets.ImageFolder(root='ILSVRC2012/val',transform=data_transform)
train_dataset_loader = DataLoader(train_dataset,batch_size=4, shuffle=True,num_workers=4)   

Imagenet一共有三个文件夹,分别是train、val、test,train里边有1000个文件夹分别代表1000个类每个类下边有1300张对应类别的图片,val里边有50000张验证集图片,用ImageFolder进行数据加载的时候,训练集直接按上述办法加载就好,而验证集我们需要对他进行处理,使用如下脚本把验证集50000张图片分别划分到相应类的文件夹中,再进行加载就可以了

验证集分类脚本

(新手刚开始写博文,如果有写的不明白的地方请留言)

  • 14
    点赞
  • 50
    收藏
    觉得还不错? 一键收藏
  • 30
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 30
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值