【Python深度学习】做深度学习训练时，如果数据集太大，无法一次性加载进GPU，应该如何做？

于 2024-08-27 11:24:19 发布
阅读量196 收藏
点赞数 9
分类专栏： Python深度学习 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/PoGeN1/article/details/141598236
版权

文章目录

1. 数据加载器与小批量训练（DataLoader & Mini-Batch Training）

  • 使用小批量训练（mini-batch training）将大数据集划分为多个小批量，每次仅将一个小批量的数据加载到GPU中进行训练。PyTorch的DataLoader可以帮助你实现这一点，它能够在训练过程中动态地加载小批量的数据，并将其送入模型。

示例代码：

from torch.utils.data import DataLoader, Dataset

class MyDataset(Dataset
了解本专栏 订阅专栏 解锁全文 超级会员免费看
惊鸿若梦一书生
关注
  • 9
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
还在调API写所谓的AI“女友”，唠了唠了，教你基于python咱们“new”一个（深度学习）
`or 1 or 不正经の泡泡
11-24 3980
诶，标题有点欠揍是吧。好吧承认有点标题党了，拖更大王要更新了。快速构建一个简单的对话+问答AI （上）过来的。好吧被你发现了，我是把中间那一段拆开来了。好吧，之所以这样做其实还是因为那篇文章是在是太长了，没写清楚，同时每一个模块都是独立的，因此的话咱们专门拆开来再说下是咋干的。咱们这是一篇独立的博文，那么为啥要独立捏，因为我知道你可能并不需要一个比较完整的内容，如果你关注的是如何实现一个对话AI的话，那么来这里就对了。我们将单独从数据集开始再讲起。并且将真正完整的代码直接在咱们的博文当中贴出了。
模型训练遇到数据量太大而导致内存不够问题？今天教你一招
Python数据挖掘
10-25 5051
sklearn中不少模块支持迭代训练和处理，特点是这些模块包含方法。在使用过程中需要考虑处理数据集为多批次的过程，需要考虑批大小和批个数，同时也需要考虑对最终精度的影响。与使用全量数据的处理相比，使用迭代训练和处理在效果和精度上可能会稍差，但可以在内存有限的情况下使用。
利用Dataset类使用超过内存大小的训练集进行训练神经网络
Alphoseven的博客
05-30 1341
如何利用容量大于内存的数据集训练神经网络 在训练神经网络的时候，我们常常会遇到训练集大于RAM的情况。 如果直接暴力读取会出现MemoryError，那这个时候我们应该怎么办呢？ 在实验中，笔者欲利用TCGA数据库中PANCANCE的dnam数据进行训练神经网络。但是，处理完的dnam数据集大约60G，这显然超出了PC的运存（当然，如果有实验室提供的服务器就另说了）。笔者使用PyTorch框架中的Dataset类解决次问题，特此记录一下该粗糙的解决方案。 笔者使用的深度学习框架为PyTorch1.7.1。
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
热门推荐
是否龍磊磊真的一无所有的博客
06-20 15万+
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。 1. GPU内存占用率问...
基于YOLOv8/YOLOv7/YOLOv6/YOLOv5的吸烟检测系统（深度学习+Python代码+PySide6界面+训练数据集）
最新发布
思绪无限的博客
03-12 2万+
本文介绍了使用深度学习构建吸烟检测系统的方法，分享了完整代码下载。系统基于YOLOv8、YOLOv7、YOLOv6、YOLOv5算法，对其进行了性能对比，展示了如mAP、F1 Score等性能指标。详细讲述了YOLOv8的原理，提供了Python代码和训练数据集，以及基于PySide6的界面。系统能准确识别吸烟行为，支持通过多种方式检测，包含柱状图分析、标记框类别、类别统计等功能，并可调节置信度和IOU参数。具有基于SQLite数据库的用户登录界面，支持模型切换和UI自定义。旨在为初学者提供指导，文末有代码
深度学习——如何利用Python 实现天气识别
m0_71540827的博客
11-01 792
主要用于图像和视频等视觉任务。通过使用卷积层、池化层和全连接层等不同类型的神经网络层，CNN 可以学习图像中的特征并将其用于分类、对象检测和分割等任务。主要用于处理序列数据，如文本和语音。RNN 可以通过反馈循环来处理序列中的依赖关系，并在不同的时间步骤中共享权重。常见的 RNN 类型包括 LSTM 和 GRU 等，它们可以解决长期依赖问题。GAN 是一种无监督的学习算法，可以用于生成具有高度逼真度的图像、音频和视频等数据。GAN 由两个神经网络组成，一个生成器和一个鉴别器。
3D外观超分辨率与深度学习中的3DASR数据集及网络密度
13D外观超分辨率与深度学习Yawei Li1，Vagia Tsiminaki2，Radu Zinfte1，Marc Pollefeys2，3，and Luc vanGool11计算机视觉实验室，苏黎世联邦理工学院，瑞士{yawei.li，radu.timofte，vangool}@ vision.ee.ethz.ch2...
Pytorch学习：图像分类入门！使用CIFAR-10数据集，完整地创建深度神经网络进行训练、测试并保存和读取
鳄鱼的博客
07-16 4215
1. 导入Pytorch以及相关包 本文使用pytorch=1.5.1+cuda10.1 import torch import torch.nn as nn import torch.nn.functional as F import torchvision import torchvision.transforms as transforms import torch.optim as optim import time,os torch.nn是 torch.nn.functional中 torchv
Python深度学习007：用python实现LSTM
惊鸿若梦一书生
12-20 1万+
import numpy as np # 定义一个LSTM类（input_width是输入数据的张量大小，state_width是状态向量的维度，learning_rate是学习率） class LstmLayer(object): def __init__(self, input_width, state_width, learning_rate): self.inp...
Python深度学习：【概念系列】什么是梯度、梯度消失、梯度爆炸以及如何解决
惊鸿若梦一书生
06-19 2926
在深度学习中，梯度尤其重要，因为我们通常使用梯度下降算法来更新神经网络的参数。此时，梯度被用于计算在给定损失函数和当前参数值下，每个参数应该移动的方向和幅度，以使损失函数最小化。通常认为当梯度值的绝对值超过某个阈值（如1e6、1e8等）时，就可以将其视为梯度爆炸的现象。总之，梯度可以告诉我们不同方向上的最陡峭的变化率，使我们能够优化函数值并更新参数。对于一个参数化的函数，梯度可以告诉我们在一个特定的点处函数值增加最快的方向。在机器学习中，梯度是指一个多元函数在某一点处的变化率以及变化的方向。
Python深度学习005：一张LSTM最经典的解释图
惊鸿若梦一书生
12-20 2246
Python深度学习：【tensorflow系列】一步到位：在Windows 10上轻松搭建TFlearn环境及其应用示例
惊鸿若梦一书生
12-14 2238
tflearn是一个为tensorflow 提供了简化的接口的库，实际上是将tensorflow封装的更加简便易用，创建网络只需要一句代码即可。 一、先安装tensorflow 如果已经安装就跳过这一步，没有安装请参照如果安装tensorflow 二、查看是否安装了scipy、h5py 打开cmd，输入conda list，然后在下面给出的列表中查看是否有安装scipy、h5py，实际上用anac...
Python深度学习006：3层堆叠自编码器的时间复杂度
惊鸿若梦一书生
03-16 1956
Python深度学习016：tensorflow中AR模型做预测的案例
惊鸿若梦一书生
03-27 1493
训练数据如下所示： 预测结果如下所示： 代码如下： import numpy as np import matplotlib.pyplot as plt import tensorflow as tf from tensorflow.contrib.timeseries.python.timeseries import NumpyReader x=np.array(range(1000)) ...
Python深度学习【GAN生成对抗网络系列】 用GAN生成mnist手写数字图片
惊鸿若梦一书生
12-23 1366
生成对抗网络（GAN，Generative Adversarial Networks）是一种深度学习模型，由 Ian Goodfellow 和他的同事在 2014 年首次提出。GAN 是一种非常强大和独特的神经网络架构，用于生成新的、与训练数据相似的数据样本。它在图像生成、艺术创作、音频生成和其他领域取得了显著的成果。
Python深度学习026：基于Pytorch的典型循环神经网络模型RNN、LSTM、GRU的公式及简洁案例实现（官方）
惊鸿若梦一书生
04-21 1361
RNN（Recurrent Neural Network，循环神经网络）LSTM（Long Short-Term Memory，长短期记忆网络）GRU（Gate Recurrent Unit，门控循环单元）
Python深度学习011：tf.multiply（）和tf.matmul（）区别
惊鸿若梦一书生
12-13 1253
一、tf.multiply()是点乘 tf.multiply(x,y)是两个矩阵对应的数据相乘，所以要求x和y的shape要一样才行，例如x=[2,3],y=[2,3] from numpy import random import tensorflow as tf x_array = random.random(size=(2, 3)) y_array = random.random(size...
Python深度学习010：Tensorflow中的各种优化器：Optimizer
惊鸿若梦一书生
11-29 1203
Optimizer: import tensorflow as tf tf.train.GradientDescentOptimizer tf.train.AdadeltaOptimizer tf.train.AdagradOptimizer tf.train.AdagradDAOptimizer tf.train.MomentumOptimizer tf.train.AdamOptimizer ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

惊鸿若梦一书生

谢谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值