《PyTorch深度学习实践》学习笔记(2)

一 数据集的加载

前文主要是自定义的小批量数据集，这里主要介绍加载外部开源的数据集方法

数据集加载常用的工具：
    1）Dataset：主要用于构造数据集，该数据集应该能够支持索引结构；
    2）DataLoader：主要用于加载数据集，支持训练时的Mini-Batch（分批进行训练）形式。

1.1 Dataset的构造

import torch
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

//准备数据,自定义数据集类，用以继承Dataset抽象类
//在torch.utils.data中有Dataset抽象类，我们需要根据自己的需要继承这个抽象类，来实现自己的数据集类
class DiabetesDataset(Dataset):
    def __init__(self):          #init:对数据集类进行初始化    
        pass 
    def __getitem__(self, item): #该方法的实现是为了实例化后的数据集对象支持下标操作dataset[index]
        pass
    def __len__(self):           #该方法的实现是为了方便我们输出数据集每一个batch的数据项条目数
        
        pass      
dataset = DiabetesDataset()#实例化这个数据集类

数据集的数据加载方式（init和getitem的实现）
1）若数据集本身规模不是很大，可以直接将原数据集全部加载到内存中，则getitem方法只需要从内存中顺序读出即可；
2）若数据集本身规模较大，则可以将数据在磁盘中按照文件夹分装，将输入出的各个文件夹名以列表的形式载入内存中；则getitem的方法就是按照文件夹路径从磁盘中索引并读出文件。

1.2 DataLoader的构造

train_loader = DataLoader(dataset=dataset,batch_size=32,shuffle=True,num_workers=2)
'''
dataset:数据集对象
batch_size:批量训练的大小
shuffle:是否要进行随机打乱
num_workers:使用多少个线程对数据进行载入操作；使用并行化可以提高数据读取的效率
'''