【PyTorch】数据的读取和操作(Dataset, DataLoader)

最新推荐文章于 2024-07-19 16:38:23 发布

Tra_cy

最新推荐文章于 2024-07-19 16:38:23 发布

阅读量2.2k

点赞数 2

分类专栏： pytorch学习

本文链接：https://blog.csdn.net/Tra_cy/article/details/103344774

版权

本文介绍了PyTorch中数据处理的关键类Dataset和DataLoader。Dataset作为数据集的抽象类，需要实现`len()`和`getitem()`方法。DataLoader则负责批量加载数据，支持设置batch_size、是否shuffle等参数。通过DataLoader，可以方便地按批次获取数据进行训练。

摘要由CSDN通过智能技术生成

文章目录

前言
Dataset
DataLoader

前言

Pytorch 中比较重要的是对数据的处理，其中，进行数据读取的一般有三个类：

Dataset
DataLoader
DataLoaderIter

其中，这三是一个依次封装的关系：“Dataset被封装进DataLoader，DataLoader再被封装进DataLoaderIter”

Dataset

class torch.utils.data.Dataset

表示Dataset的抽象类，所有其数据集都应该继承这个类。所有子类必须继承和实现

len()
getitem()

两个成员函数，前者提供了数据集的大小，后者支持整数索引，范围从0到len(self)。

import torch
from torch.utils.data import Dataset
import pandas as pd

# 定义自己的类
class MyDataset(Dataset):
    
    # 初始化
    def __init__(self, file_name):
        # 读入数据
        self.data