pytorch入门_数据的加载和预处理

本文介绍了如何在PyTorch中自定义数据集,通过继承DataSet类并实现getitem_()和len_()方法。同时,讲解了DataLoader的使用,包括参数如batch_size和shuffle。此外,提到了torchvision.datasets提供的预处理数据集,torchvision.models中的预训练模型,以及torchvision.transforms模块用于数据处理和增强的操作。
摘要由CSDN通过智能技术生成

通过继承DataSet抽象类定义自己的数据集,使用DataLoader将数据集变为一个可迭代对象

1. 继承DataSet,自定义一个数据集(:

需要继承DataSet类,并且实现两个成员方法:

  1. getitem_() 该方法定义用索引(0 到 len(self))获取一条数据或一个样本
  2. len_() 该方法返回数据集的总长度

eg: 实例化一个对象ds_demo,通过ds_demo[index]方法得到index对应的数据值,通过len(ds_demo)获取数据总长度

#引用
from torch.utils.data import Dataset
import pandas as pd

#定义一个数据集
class BulldozerDataset(Dataset):
    """ 数据集演示 """
    def __init__(self, csv_file):
        """实现初始化方法,在初始化的时候将数据读载入"""
        self.df=pd.read_csv(csv_file)
    def __len__(self):
        '''
        返回df的长度
        '''
        return len(self
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值