PyTorch深度学习实践 Lecture08 数据集加载 Dataset 与 Dataloader

Horizon John

已于 2024-05-17 15:39:24 修改

阅读量606

点赞数 3

文章标签：深度学习机器学习 PyTorch

于 2021-12-27 10:55:24 首次发布

本文链接：https://blog.csdn.net/weixin_45084253/article/details/122167067

版权

简单入门 PyTorch 专栏收录该内容

14 篇文章 102 订阅

订阅专栏

🤵 Author ：Horizon John

✨ 编程技巧篇：各种操作小结

🎇 机器视觉篇：会变魔术 OpenCV

💥 深度学习篇：简单入门 PyTorch

🏆 神经网络篇：经典网络模型

💻 算法篇：再忙也别忘了 LeetCode

视频链接：Lecture 08 Dataset_and_Dataloader
文档资料：

//Here is the link:
课件链接：https://pan.baidu.com/s/1vZ27gKp8Pl-qICn_p2PaSw
提取码：cxe4

文章目录

Dataset_and_Dataloader

Dataset_and_Dataloader

概述

几个常用名词：
在这里插入图片描述
Epoch： 所有的数据输入网络后完成一次前向传播和反向传播的过程；

Batch-Size： 每一次送到网络当中的数据个数；

Iteration： 完成一次Epoch所需要训练的次数 = 样本总数 / Batch-Size

利用 Dataloader 读取数据 基本步骤 ：

1）创建 Dataset 对象

2）将 Dataset 对象作为参数传递到 Dataloader 中

结合以下代码进行阐述：

Code

# Here is the code :

import torch
import numpy as np
from torch.utils.data import Dataset
from torch.utils.data import DataLoader


# 1 prepare dataset

class DiabetesDataset(Dataset):      # 创建 Dataset 对象
    def __init__(self, filepath):
        xy = np.loadtxt(filepath, delimiter=',', dtype=np.float32)
        self.len = xy.shape[0]       # shape(多少行，多少列)
        self.x_data = torch.from_numpy(xy[:, :-1])
        self.y_data = torch.from_numpy(xy[:, [-1]])
 
    def __getitem__(self, index):
        return self.x_data[index], self.y_data[index]
 
    def __len__(self):
        return self.len
        
dataset = DiabetesDataset('diabetes.csv')      # 将 Dataset 对象作为参数传递到 Dataloader 中
train_loader = DataLoader(dataset=dataset, batch_size=32, shuffle=True, num_workers=2) #num_workers 多线程


# 2 design model using class

class Model(torch.nn.Module):
    def __init__(self):
        super(Model, self).__init__()
        self.linear1 = torch.nn.Linear(8, 6)
        self.linear2 = torch.nn.Linear(6, 4)
        self.linear3 = torch.nn.Linear(4, 1)
        self.sigmoid = torch.nn.Sigmoid()
 
    def forward(self, x):
        x = self.sigmoid(self.linear1(x))
        x = self.sigmoid(self.linear2(x))
        x = self.sigmoid(self.linear3(x))
        return x
        
model = Model()


# 3 construct loss and optimizer

criterion = torch.nn.BCELoss(reduction='mean')
optimizer = torch.optim.SGD(model.parameters(), lr=0.01)


# 4 training cycle (forward  backward  update)

if __name__ == '__main__':
    for epoch in range(100):
        for i, data in enumerate(train_loader, 0): # train_loader 是先shuffle后mini_batch
            inputs, labels = data
            y_pred = model(inputs)
            loss = criterion(y_pred, labels)
            print(epoch, i, loss.item())
 
            optimizer.zero_grad()
            loss.backward()
 
            optimizer.step()