【pytorch】创建自己的数据集,并按类别的比例划分得到均匀的数据集

问题场景:当数据集有6个类别,每个类别的数据有150个,共900条数据,如图-1所示,每个文件夹中包含一类数据,共6个文件夹。想按照8:2的比例划分数据集,但又不想人为移动文件进行手动划分

图-1  数据

加载数据集使用datasets中的ImageFolder函数即可快速加载上图形式的数据。

代码:

from torchvision import datasets
Mydata = datasets.ImageFolder("./data",transform=torchvision.transforms.ToTensor())

问题:

当使用如下代码对数据进行划分时:

train_size = 120
test_size = 30
train_dataset, test_dataset  = random_split(Mydata,  lengths = [train_size, test_size], generator=torch.Generator().manual_seed(1))
# manual_seed(1)为随机数种子,保证每次的随机序列相同

会导致每一类的数据取得不均匀,也就是说,可能类别0取了30个,类别1取了26个,类别2取了38个这样的情况,我们希望每个类别都取30个。

#修改参数
classes = 6 
train_num = 120 
test_num = 30 
all_num = 150
#创建随机序列 
rand_list = [i for i in range(all_num)] 
random.seed(51) 
random.shuffle(rand_list) #打乱rand_list本身
train_list = rand_list[0:train_num] 
test_list = rand_list[train_num:all_num ] 
#采样的索引
train_index = [] 
test_index = [] 

for i in range(classes):     
    train_temp = list(map(lambda x: x + all_num * i,train_list))     
    train_index.extend(train_temp)     
    test_temp = list(map(lambda x: x + all_num * i, test_list))     
    test_index.extend(test_temp)     
train_dataset = Subset(Mydata,train_index) 
test_dataset = Subset(Mydata,test_index)

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 要使用SegNet PyTorch版本来训练自己的数据集,需要按照以下步骤进行操作。 首先,将自己的数据集准备好。数据集应包含带有相应标签的图像。确保所有图像的分辨率一致,并且标签图像与输入图像大小相匹配。 接下来,下载SegNet PyTorch版本的源代码,并配置所需的环境。PyTorch的安装是必需的,你可以根据自己的系统进行安装。此外,还需要安装其他可能需要的依赖项。 然后,将准备好的数据集分为训练集和测试集。确保训练集与测试集的标签图像都包含在对应的文件夹中,并且文件名与其对应的输入图像相同。 接下来,修改SegNet源代码以适应自己的数据集。在训练和测试过程中,需要根据数据集类别数量修改网络的输出通道数,并根据输入图像的大小调整网络的输入尺寸。 在修改好源代码后,进行训练。使用训练集数据来训练网络,并调整超参数以达到更好的性能。可以通过调节批次大小、学习率和迭代次数等来调整训练速度和准确性。 训练完成后,可以使用测试集数据来评估网络的性能。查看网络在测试集上每个类别的预测结果,并计算准确性、精确度和召回率等评价指标。 最后,可以使用训练好的SegNet模型来对未知图像进行预测。加载模型并对待预测图像进行处理,最后得到图像的分割结果。 以上就是使用SegNet PyTorch版本训练自己的数据集的基本步骤。通过适应自己的数据集和调整超参数,可以获得更好的语义分割模型。 ### 回答2: SegNet是一种用于图像语义分割的深度学习模型,其可以用于将输入图像分为不同的语义类别。如果要在PyTorch中使用SegNet模型,需要先准备自己的数据集并对其进行相应的处理。 首先,数据集需要包括输入图像和对应的标签图像。输入图像作为模型的输入,标签图像包含每个像素的语义类别信息。可以使用图像标注工具如labelImg对图像进行手动标注,或者使用已有的语义标注数据集。 接下来,需要将数据集分为训练集和验证集。可以按照一定的比例数据集划分为两部分,其中一部分用于模型的训练,另一部分用于验证模型的性能。 然后,需要对数据集进行预处理。预处理的步骤包括图像的缩放、归一化和图像增强等。在PyTorch中,使用torchvision.transforms中的函数可以方便地进行这些处理。 接下来,需要定义数据加载器。可以使用PyTorch的DataLoader类读取预处理后的数据集,并将其提供给模型进行训练和验证。 在开始训练之前,需要加载SegNet模型。在PyTorch中,可以通过torchvision.models中的函数加载预定义的SegNet模型。可以选择预训练好的模型权重,或者将模型初始化为随机权重。 然后,需要定义损失函数和优化器。对于语义分割问题,常用的损失函数是交叉熵损失函数。可以使用torch.nn.CrossEntropyLoss定义损失函数。优化器可以选择Adam或SGD等常用的优化算法。 最后,开始模型的训练和验证。使用torch.nn.Module类创建SegNet模型的子类,并实现其forward函数。然后,通过迭代训练集的每个批次,使用损失函数计算损失,并使用优化器更新模型的参数。在每个epoch结束后,使用验证集评估模型的性能。 以上就是在PyTorch中使用SegNet模型进行图像语义分割的基本流程。通过按照上述步骤对自己的数据集进行处理,即可使用SegNet模型训练和验证自己的图像语义分割任务。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值