Pytorch深度学习（七）：加载数据集

一、概念

数据集和数据加载器（Dataset and DataLoader）
我们在以前讲解的例子中因为我们的数据集比较小，所以我们把所有的数据就直接不做任何处理就进行相关的训练也是可以的，但是如果我们的数据集比较大，就需要对数据集进行相关的操作才能提高我们的效率。

如上图，我们可以先对数据进行shuffle（即进行打乱顺序），然后把这些数据加载并且将其分为不同的batch

以下是相关概念的解释：

二、实现代码：

import torch
from torch.utils.data import Dataset    #Dataset是个抽象类
from torch.utils.data import DataLoader  #DataLoader是帮助我们在PyTorch中加载数据的类。
import numpy as np

#1.准备Mini_Batch数据集
class DiabetsDataset(Dataset):   #DiabetesDataset继承自抽象类Dataset
    def __init__(self,filepath):
        xy = np.loadtxt(filepath,delimiter = ',',dtype = np.float32)
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[:,:-1])  #torch.from_numpy()方法把数组转换成张量，且二者共享内存，对张量进行修改比如重新赋值，那么原始数组也会相应发生改变。
        self.y_data = torch.from_numpy(xy[:,[-1]])
    def __getitem__(self,index):  #支持下标操作，根据索引获取数据
        return self.x_data[index],self.y_data[index]
    def __len__(self):    #获取数据条数
        return self.len
       
dataset = DiabetsDataset('diabetes.csv.gz')  #构造DiabetesDataset对象,并将数据集的路径传入
#初始化DataLoader加载器
train_loader = DataLoader(dataset=dataset,  #处理的数据集
                          batch_size=32,    #每次处理的数据大小
                          shuffle=True,     #是否打乱
                          num_workers=0)    #多线程数量，在windows里需要设置为0， Linux可以大于0
#2.构建网络模型
class Model(torch.nn.Module):
    def __init__(self):
        super(Model,self).__init__()
        self.linear1 = torch.nn.Linear(8,6)
        self.linear2 = torch.nn.Linear(6,4)
        self.linear3 = torch.nn.Linear(4,1)
        self.sigmoid = torch.nn.Sigmoid()  #选择适合的激活函数
    def forward(self,x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x
model = Model()

#3.构造损失函数和优化器
criterion = torch.nn.BCELoss(size_average=True)
optimizer = torch.optim.SGD(model.parameters(),lr=0.01)


'''
enumerate() 函数用于将一个可遍历的数据对象(如列表、元组或字符串)组合为一个索引序列，同时列出数据下标和数据，一般用在 for 循环当中。
语法
以下是 enumerate() 方法的语法:
enumerate(sequence, [start=0])
参数
sequence -- 一个序列、迭代器或其他支持迭代对象。
start -- 下标起始位置。
返回值
返回 enumerate(枚举) 对象。
'''

#4.训练
if __name__ == '__main__':
    for epoch in range(100):
        for i,data in enumerate(train_loader,0):
            #1.Prepare data
            inputs,labels = data
            #print(inputs,labels)
            #2.Forward
            y_prep = model(inputs)
            loss = criterion(y_prep,labels)
            print(epoch,i,loss.item())
            #3.backward
            optimizer.zero_grad()
            loss.backward()
            #4.Update
            optimizer.step()

参考链接：
https://blog.csdn.net/qq_45866407/article/details/108112590
https://www.bilibili.com/video/BV1Y7411d7Ys?t=6&p=8