记录:测试本机下使用 GPU 训练时不会导致内存溢出的最大参数数目

本机使用的 GPU 是 GeForce 840M2G 显存,本机内存 8G

试验时,使用 vgg 网络,调整 vgg 网络中的参数,使得使用对应的 batch_size 时不会提示内存溢出。使用的是 mnist 数据集,图片尺寸是28×28。结果如下:

# batch_size = 1

# 参数总数:5946134

 

# batch_size = 32

# 参数总数:5262436

 

# batch_size = 64

# 参数总数:4770788

 

# batch_size = 100

# 参数总数:4279140

 

所能接受的参数总数和 batch_size 有一定关系,但并不是成线性关系。模型训练时需要选择合适的网络参数和合适的 batch_size 大小,使得 GPU 能以最大速度进行训练。

转载于:https://www.cnblogs.com/mbcbyq-2137/p/10267919.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
使用 YOLOv5 进行 GPU 训练,可以通过设置 PyTorch 中的 `DataLoader` 函数的 `pin_memory` 和 `num_workers` 参数来共享 GPU 内存。具体步骤如下: 1. 在定义 PyTorch Dataset 对象使用 `pin_memory=True` 将数据加载到固定内存中,以加速 CPU 到 GPU 的数据传输。例如: ```python import torch.utils.data as data train_dataset = MyDataset() ``` 2. 在使用 DataLoader 加载数据,将 `pin_memory=True` 和 `num_workers` 设置为一个适当的值,以共享 GPU 内存。例如: ```python train_loader = data.DataLoader(train_dataset, batch_size=64, shuffle=True, num_workers=4, pin_memory=True) ``` 其中,`num_workers` 参数指定了使用多少个 worker 进程来加载数据,一般来说,可以设置为 CPU 核数的 2-4 倍。需要注意的是,使用多个 worker 进程可能会占用一定的 CPU 资源,但可以加速数据加载和预处理的速度。 3. 在训练模型使用 `torch.cuda.empty_cache()` 函数清空 GPU 缓存,以释放一部分 GPU 内存。例如: ```python import torch for epoch in range(num_epochs): for batch_idx, (data, targets) in enumerate(train_loader): # 将数据加载到 GPU 内存中 data, targets = data.cuda(), targets.cuda() # 训练模型 ... # 释放 GPU 缓存 torch.cuda.empty_cache() ``` 需要注意的是,使用共享 GPU 内存可能会导致一些性能上的损失,例如数据加载和预处理的速度会变慢,但可以有效减少显存使用,提高 GPU 利用率,加速训练速度。在实际应用中,需要根据具体情况选择合适的参数,以便更好地利用 GPU 资源。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值