PASCAL VOC数据集训练集、验证集、测试集的划分和提取

1、训练集、验证集、测试集按比例精确划分

#数据集划分
import os
import random
 
root_dir='./park_voc/VOC2007/'
 
## 0.7train 0.1val 0.2test
trainval_percent = 0.8
train_percent = 0.7
xmlfilepath = root_dir+'Annotations'
txtsavepath = root_dir+'ImageSets/Main'
total_xml = os.listdir(xmlfilepath)
 
num = len(total_xml)  # 100
list = range(num)
tv = int(num*trainval_percent)  # 80
tr = int(tv*train_percent)  # 80*0.7=56
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
 
ftrainval = open(root_dir+'ImageSets/Main/trainval.txt', 'w')
ftest = open(root_dir+'ImageSets/Main/test.txt', 'w')
ftrain = open(root_dir+'ImageSets/Main/train.txt', 'w')
fval = open(root_dir+'ImageSets/Main/val.txt', 'w')
 
for i in list:
    name = total_xml[i][:-4]+'\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)
 
ftrainval.close()
ftrain.close()
fval.close()
ftest .close()

2、训练集、验证集和测试集提取(只给出trian文件的提取方法)

# -*- coding:UTF-8 -*-
import shutil
 
f_txt = open('D:\dataset\VOCdevkit\split\VOC2007\ImageSets\Main\\trainval.txt', 'r')
f_train = 'D:\dataset\VOCdevkit\VOC2007\\train'
 
context = list(f_txt)
for imagename in context:
    imagename = imagename[0:6]
    imagename = imagename + '.jpg'
    imagepath = 'D:\dataset\VOCdevkit\VOC2007\JPEGImages\\'+ imagename
    shutil.copy(imagepath,f_train)
    # 删除训练集和验证集,剩余图片为测试集
    # os.remove(imagepath)
 
#处理Annotations同理只需将.jpg改为.xml

参考:https://www.cnblogs.com/sdu20112013/p/10801383.html

  • 8
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
好的,下面是使用 PyTorch 和 Pascal VOC 数据集进行训练的一些步骤: 1. 下载 Pascal VOC 数据集并解压缩。您可以从 http://host.robots.ox.ac.uk/pascal/VOC/ 下载数据集并按照指示解压缩。 2. 安装 PyTorch。您可以从 PyTorch 网站(https://pytorch.org/get-started/locally/)获取安装说明并安装 PyTorch。 3. 安装 torchvision。您可以使用以下命令安装 torchvision: ``` pip install torchvision ``` 4. 准备数据集。您需要将 Pascal VOC 数据集转换为 PyTorch 可以读取的格式。您可以使用以下代码: ``` from torchvision import datasets, transforms data_transform = transforms.Compose([ transforms.Resize(256), transforms.CenterCrop(224), transforms.ToTensor(), transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225]) ]) train_dataset = datasets.VOCDetection(root='path/to/PascalVOC', year='2012', image_set='train', transform=data_transform) val_dataset = datasets.VOCDetection(root='path/to/PascalVOC', year='2012', image_set='val', transform=data_transform) ``` 将 "/path/to/PascalVOC" 替换为您解压缩数据集的路径。 5. 定义模型。您可以使用现有的模型,如 ResNet 或 VGG,也可以自己定义模型。这里是一个使用 ResNet18 的示例: ``` import torch.nn as nn import torchvision.models as models model = models.resnet18(pretrained=True) # 替换最后一层全连接层 num_classes = 20 # Pascal VOC 数据集中有20个类别 model.fc = nn.Linear(model.fc.in_features, num_classes) ``` 6. 定义损失函数和优化器。这里使用交叉熵损失和随机梯度下降(SGD)优化器: ``` import torch.optim as optim criterion = nn.CrossEntropyLoss() optimizer = optim.SGD(model.parameters(), lr=0.001, momentum=0.9) ``` 7. 训练模型。您可以使用以下代码训练模型: ``` from torch.utils.data import DataLoader train_loader = DataLoader(train_dataset, batch_size=32, shuffle=True) val_loader = DataLoader(val_dataset, batch_size=32, shuffle=False) num_epochs = 10 for epoch in range(num_epochs): # 训练模型 model.train() for images, labels in train_loader: optimizer.zero_grad() outputs = model(images) loss = criterion(outputs, labels) loss.backward() optimizer.step() # 在验证集上评估模型 model.eval() with torch.no_grad(): total_correct = 0 total_samples = 0 for images, labels in val_loader: outputs = model(images) _, predicted = torch.max(outputs, 1) total_correct += (predicted == labels).sum().item() total_samples += labels.size(0) val_accuracy = total_correct / total_samples print('Epoch [{}/{}], Val Accuracy: {:.2f}%'.format(epoch+1, num_epochs, val_accuracy*100)) ``` 在每个 epoch 结束时,模型在验证集上进行评估,并打印准确率。 希望这些步骤可以帮助您开始使用 PyTorch 和 Pascal VOC 数据集进行训练。如果您需要更详细的说明或者代码示例,请告诉我!

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

洪流之源

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值