Pytorch使用torch.utils.data.random_split拆分数据集,拆分后的数据集状况

对于这个API,我最开始的预想是从 '猫1猫2猫3猫4狗1狗2狗3狗4' 中分割出 '猫1猫2狗4狗1' 和 '猫4猫3狗2狗3' ,但是打印结果和我预想的不一样

数据集文件的存放路径如下图

测试代码如下

import torch
import torchvision

transform = torchvision.transforms.Compose([
    torchvision.transforms.Resize((512,512)),  # 调整图像大小为 224x224
    torchvision.transforms.ToTensor(),  # 转换为张量
    torchvision.transforms.Normalize(mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 归一化
])
dataset = torchvision.datasets.ImageFolder('C:\\Users\\ASUS\\PycharmProjects\\pythonProject1\\cats_and_dogs_train',
                                                 transform=transform)

val_ratio = 0.2
val_size = int(len(dataset) * val_ratio)
train_size = len(dataset) - val_size
train_dataset, val_dataset = torch.utils.data.random_split(dataset, [train_size, val_size])


cats_num = 0
dogs_num = 0
for x,y in train_dataset:
    if y == 0:
        cats_num += 1
    else:
        dogs_num += 1

print("cats_num: ",cats_num)
print("dogs_num: ",dogs_num)

cats_num2 = 0
dogs_num2 = 0
for x,y in val_dataset:
    if y == 0:
        cats_num2 += 1
    else:
        dogs_num2 += 1

print("cats_num2: ",cats_num2)
print("dogs_num2: ",dogs_num2)

输出如下

可以看到总共25000张图片的数据集,分割后并不是cats_num:10000,dogs_num:10000,cats_num2:2500,dogs_num2:2500

也就是说,分割后的状况是猫狗的数量并不一定相等,如结果为 '猫1猫2猫4狗1' 和 '狗4猫3狗2狗3'

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: torch.utils.data.random_splitPyTorch 中的一个数据集划分函数,用于将一个数据集随机划分为多个数据集。它接受两个参数:待划分的数据集和划分比例(比如 [0.8, 0.2] 表示将数据集划分为 80% 和 20% 两部分)。返回值是一个包含划分出来的数据集的元组。 ### 回答2: torch.utils.data.random_splitPyTorch提供的一个非常有用的数据集划分函数,可以帮助我们将数据集划分为训练集和验证集。其功能是将一个数据集按照给定的比例随机划分为两个子集。 在机器学习中,通常需要将数据划分为训练集、验证集和测试集,以便对模型进行训练、验证和测试。划分数据集有多种方式,一种最常见的方式是将数据集按照50/50或80/20的比例随机分成训练集和验证集。 PyTorch提供的random_split函数可以帮助我们轻松地完成这个任务。该函数的主要输入是数据集和要划分的比例,它返回两个数据集,一个是训练集,另一个是验证集。这些数据集包含输入和目标张量。在划分数据集之前,我们需要将原始数据集转换为PyTorch支持的Dataset类。 下面是torch.utils.data.random_split使用示例代码: ```python from torch.utils.data import Dataset from torch.utils.data import DataLoader from torch.utils.data import random_split class IrisDataset(Dataset): def __init__(self, X, y): super(IrisDataset,self).__init__() self.X = X self.y = y def __getitem__(self, index): return self.X[index], self.y[index] def __len__(self): return len(self.X) # 创建数据集 dataset = IrisDataset(X, y) # 指定训练集和验证集的比例 train_ratio = 0.8 val_ratio = 0.2 # 计算划分的长度 train_len = int(train_ratio * len(dataset)) val_len = len(dataset) - train_len # 划分数据集 train_set, val_set = random_split(dataset, [train_len, val_len]) # 创建数据加载器 train_loader = DataLoader(dataset=train_set, batch_size=64, shuffle=True) val_loader = DataLoader(dataset=val_set, batch_size=64, shuffle=True) ``` 在上述示例代码中,我们创建了一个虚构的IrisDataset类,它包含输入和目标张量。然后,我们创建了一个IrisDataset实例,并将其传递给random_split函数,以便将数据集划分为训练集和验证集。接下来,我们使用DataLoader创建训练集和验证集的迭代器。 总之,torch.utils.data.random_split是一个用于划分数据集的非常方便的函数,可以快速准确地进行训练集和验证集的分割。使用它可以帮助我们更好地管理数据集,并提高机器学习模型的性能。 ### 回答3: torch.utils.data.random_split是一个PyTorch中的数据集划分函数,用于将数据集按照一定比例随机划分为两个子集。该函数的输入参数为原始数据集dataset和划分比例,可以指定划分后子集的大小或比例。返回的结果是两个数据集对象,也可以进一步使用PyTorch提供的数据加载器对数据集进行操作。 在深度学习中,划分训练集、验证集和测试集是非常重要的步骤。可以通过将原始数据集按照一定比例划分为训练集和测试集,为模型评估和模型选择提供数据集的支持。在训练集中再将一部分数据划分为验证集,用于调整模型的超参数和防止模型出现过拟合。因此,使用torch.utils.data.random_split函数来随机划分数据集是非常有用的。 常见的划分方法如下: 1. 将原始数据集按照一定比例划分为训练集和测试集,比如常见的7:3或8:2的比例。 2. 在训练集中再将一部分数据划分为验证集,比如常见的8:1:1或者9:1的比例。 使用torch.utils.data.random_split函数,可以非常方便地实现这种随机划分,具体例子如下: ``` from torch.utils.data import DataLoader, Dataset, random_split class MyDataset(Dataset): def __init__(self, data_list): self.data_list = data_list def __getitem__(self, index): return self.data_list[index] def __len__(self): return len(self.data_list) data = [i for i in range(100)] dataset = MyDataset(data) train_size = int(0.8 * len(dataset)) test_size = len(dataset) - train_size train_dataset, test_dataset = random_split(dataset, [train_size, test_size]) train_loader = DataLoader(train_dataset, batch_size=10, shuffle=True) test_loader = DataLoader(test_dataset, batch_size=10, shuffle=False) ``` 上述代码将原始数据集按照8:2的比例随机划分为train_dataset和test_dataset两个数据集对象,其中train_size表示训练集大小,test_size表示测试集大小。最后再将划分后的数据集对象传入DataLoader构建数据加载器进行进一步处理。 实际应用中,可以根据具体任务需求进行相应的数据集划分方法选择和调整。同时也需要注意,随机划分数据集可能会引入一定的随机误差,因此需要多次重复实验,评估模型的平均表现。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值