《Pytorch深度学习实践》P8 Dataset and DataLoader 笔记+代码+作业:DataLoader的使用方法、ppt代码、Titanic数据生存预测作业及改进

 b站的up主刘二大人的《PyTorch深度学习实践》P8 笔记+代码,视频链接

所需糖尿病数据可以在视频评论区下方的网盘资源里下载(转载评论区):

所需Titanic数据:


目录

一、DataLoader的使用方法

二、PPT上代码

三、作业

1、Titanic数据生存预测代码:

2、改进①

3、改进②


一、DataLoader的使用方法

介绍:DataLoader 是 PyTorch 中用于将数据集打包成小批量并提供迭代器的工具,常用于训练模型时按批次读取数据。它的使用可以极大地简化数据加载过程,并支持多线程读取、随机打乱、批量数据等功能。

基本用法代码:(具体可以看后面的代码和作业)

from torch.utils.data import DataLoader

# 假设有一个自定义的数据集 DiabetesDataset
train_loader = DataLoader(dataset=train_dataset, batch_size=32, shuffle=True)

for batch_data, batch_labels in train_loader:
    pass

主要参数:

  • dataset: 传入 Dataset 对象,它定义了数据集(如你自定义的 TitanicDataset)。
  • batch_size: 每个批次的数据量,默认是 1。通常会根据显存大小和训练需要设置合适的批次大小。
  • shuffle: 是否在每个 epoch 开始时打乱数据。如果设置为 True,会在每次迭代时随机打乱数据。对于训练集来说,通常会设置为 True 以增加模型泛化能力。
  • num_workers: 加载数据时使用的子进程数量。默认为 0,表示使用主进程加载数据。增加 num_workers 数量可以加速数据加载(特别是数据预处理时间较长时)。
  • drop_last: 如果 True,则丢弃最后一个批次的数据,如果该批次的样本数量不足 batch_size。默认为 False
  • pin_memory: 如果设置为 True,会将数据加载到固定内存中,有助于加速 GPU 的数据传输。常用于 GPU 训练。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值