pytorch读取tiny-imagenet-200的验证集(val)

 

  ori_train = torchvision.datasets.ImageFolder(root= args.datadir + '/tiny-imagenet-200/train/', transform=transform)
  #可以获取class_idx的映射
  class_idx = ori_train.class_to_idx

val_annotations.txt中存储着每个图片对应的类别

获取验证集的标签

            test_target = []
            #读取val_annotations.txt
            test_data_dir = "./data/tiny-imagenet-200/val"
            with open(test_data_dir + "/val_annotations.txt", 'r') as file:
                # 读取每一行并存储在数组中
                lines = file.readlines()
            # 输出每一行的数据
            for line in lines:
                content = line.strip().split("\t")
                target = class_idx[content[1]]
                test_target.append(target)

 读取图片信息

ori_test_o = torchvision.datasets.ImageFolder(root= args.datadir + '/tiny-imagenet-200/val/', transform=transform)

自定义Dataset

ori_test = Imagenet_dataset(ori_test_o,test_target)


class Imagenet_dataset(torch.utils.data.Dataset):
    def __init__(self, dataset, targets):
        self.dataset = dataset
        self.targets = targets

    def __getitem__(self, idx):
        img = self.dataset[idx][0]
        label = self.targets[idx]
        return (img, label)

    def __len__(self):
        return len(self.dataset)

  • 8
    点赞
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
要实现对tiny-imagenet-200的训练和分类预测,我们可以使用Python中的深度学习框架。其中最流行的是TensorFlow和PyTorch,但是也有其他框架可以使用。在下面的示例中,我们将使用PyTorch框架。 首先,我们需要下载和准备数据集。你可以从https://tiny-imagenet.herokuapp.com/下载tiny-imagenet-200数据集。下载完成后,你需要解压缩数据集文件,然后将数据集文件夹中的train和val文件夹移动到一个新的文件夹中,例如,我们可以将它们移动到一个名为"data"的文件夹中。 接下来,我们将使用PyTorch框架定义模型和训练过程。我们将首先导入必要的库: ``` import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader from torchvision import datasets, transforms ``` 接下来,我们将定义模型。在本例中,我们将定义一个简单的卷积神经网络: ``` class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(3, 32, 3, padding=1) self.conv2 = nn.Conv2d(32, 64, 3, padding=1) self.conv3 = nn.Conv2d(64, 128, 3, padding=1) self.pool = nn.MaxPool2d(2, 2) self.fc1 = nn.Linear(128 * 8 * 8, 512) self.fc2 = nn.Linear(512, 200) def forward(self, x): x = self.pool(torch.relu(self.conv1(x))) x = self.pool(torch.relu(self.conv2(x))) x = self.pool(torch.relu(self.conv3(x))) x = x.view(-1, 128 * 8 * 8) x = torch.relu(self.fc1(x)) x = self.fc2(x) return x ``` 我们定义了一个由三个卷积层和两个全连接层组成的简单卷积神经网络。输入图像是3x64x64,输出是200个类别之一。 接下来,我们将定义损失函数和优化器: ``` criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(net.parameters(), lr=0.001, momentum=0.9) ``` 我们使用交叉熵损失函数和随机梯度下降优化器。 接下来,我们将定义数据转换和数据加载器: ``` transform_train = transforms.Compose([ transforms.RandomResizedCrop(64), transforms.RandomHorizontalFlip(), transforms.ToTensor(), transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)) ]) transform_test = transforms.Compose([ transforms.Resize(64), transforms.CenterCrop(64), transforms.ToTensor(), transforms.Normalize((0.485, 0.456, 0.406), (0.229, 0.224, 0.225)) ]) trainset = datasets.ImageFolder('data/train', transform=transform_train) trainloader = DataLoader(trainset, batch_size=64, shuffle=True, num_workers=2) testset = datasets.ImageFolder('data/val', transform=transform_test) testloader = DataLoader(testset, batch_size=64, shuffle=False, num_workers=2) ``` 我们使用transforms模块对训练和测试数据进行预处理,并使用ImageFolder类加载数据。 现在我们可以开始训练模型了: ``` for epoch in range(10): running_loss = 0.0 for i, data in enumerate(trainloader, 0): inputs, labels = data optimizer.zero_grad() outputs = net(inputs) loss = criterion(outputs, labels) loss.backward() optimizer.step() running_loss += loss.item() if i % 100 == 99: print('[%d, %5d] loss: %.3f' % (epoch + 1, i + 1, running_loss / 100)) running_loss = 0.0 ``` 我们训练模型10个时期,并在每个时期结束时输出损失。 最后,我们可以使用训练好的模型进行分类预测: ``` correct = 0 total = 0 with torch.no_grad(): for data in testloader: images, labels = data outputs = net(images) _, predicted = torch.max(outputs.data, 1) total += labels.size(0) correct += (predicted == labels).sum().item() print('Accuracy of the network on the test images: %d %%' % ( 100 * correct / total)) ``` 我们评估模型在测试集上的准确性,并输出结果。 这就是如何使用Python调用PyTorch框架完成对tiny-imagenet-200的训练和分类预测的示例。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值