七、PyTorch 深度学习 加载数据集

第8讲 加载数据集

来源：B站 刘二大人

import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader

# prepare dataset
# Dataset是一个抽象函数，不能直接实例化，所以我们要创建一个自己类，继承Dataset
class DiabetesDataset(Dataset):
    def __init__(self, filepath):  # 初始化函数，提供数据集路径进行数据的加载
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
        # shape本身是一个二元组（x,y）对应数据集的行数和列数，这里[0]我们取行数,即样本数
        self.len = xy.shape[0]
        self.x_data = torch.from_numpy(xy[:, :-1])
        self.y_data = torch.from_numpy(xy[:, [-1]])

    def __getitem__(self, index):  # 通过索引找到某个样本
        return self.x_data[index], self.y_data[index]

    def __len__(self):   # 返回数据集大小
        return self.len


dataset = DiabetesDataset('diabetes.csv.gz')
# 我们用DataLoader为数据进行分组，batch_size是一个组中有多少个样本
# 一般来说，训练集我们随机排列，测试集不是这样。num_workers表示我们可以用多少进程并行的运算
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2)


# design model using class
class Model(torch.nn.Module):
    def __init__(self):  # 构造函数
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)  # 8维到6维
        self.linear2 = torch.nn.Linear(6, 4)  # 6维到4维
        self.linear3 = torch.nn.Linear(4, 1)  # 4维到1维
        self.sigmoid = torch.nn.Sigmoid()  # 因为他里边也没有权重需要更新，所以要一个就行了，单纯的算个数

    def forward(self, x):  # 构建一个计算图
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x


model = Model()  # 实例化模型

# construct loss and optimizer
criterion = torch.nn.BCELoss(size_average=False)
# model.parameters()会扫描module中的所有成员，如果成员中有相应权重，那么都会将结果加到要训练的参数集合上
optimizer = torch.optim.SGD(model.parameters(), lr=0.1)  # lr为学习率

# training cycle forward, backward, update
if __name__ == '__main__':  # if这条语句在windows系统下一定要加，否则会报错
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0):  # 取出一个bath
            # Prepare data
            inputs, labels = data  # 将输入的数据赋给inputs，结果赋给labels
            # Forward
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)
            print(epoch, loss.item())
            # Backward
            optimizer.zero_grad()
            loss.backward()
            # update
            optimizer.step()

还可以参考错错莫和安好家的小朋友的博客