关于torch开启cudnn导致显存占用过多的问题

最新推荐文章于 2024-06-12 10:56:52 发布
最新推荐文章于 2024-06-12 10:56:52 发布
阅读量725 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17127427/article/details/119752127
版权

1、问题

基于retinaface+insightface封装了一个人脸识别接口，两个模型一起跑的时候显存占用为2.5G，但是将人脸识别模块删除后，显存占用约为3.5G

2、解决方法

import torch.backends.cudnn as cudnn
cudnn.benchmark = True

将这两句话注释掉，人脸检测+识别模型占用显存约1.5G，

但是注释掉识别功能，显存占用为1.3G左右

jstzwjr
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Pytorch训练模型时如何释放GPU显存 torch.cuda.empty_cache()内存释放以及cuda的显存机制探索
捡起一束光的博客
04-15 9万+
前言 训练模型时，一般我们会把模型model，数据data和标签label放到GPU显存中进行加速。 但有的时候GPU Memory会增加，有的时候会保持不变，以及我们要怎么清理掉一些用完的变量呢？ 下面让我们一起来探究下原理吧！ pytorch训练 只要你把任何东西（无论是多小的tensor）放到GPU显存中，那么你至少会栈1000MiB左右的显存（根据cuda版本，会略有不同）。这部分显存是cuda running时固有配件必须要占掉的显存，你先训练过程汇总也是无法释放的。 import torch
浅谈pytorch torch.backends.cudnn设置作用
12-20
- **优化运行效率**：如果你的模型对输入尺寸有固定的要求，或者输入尺寸变化不大，可以启用CuDNN并开启基准测试，即`torch.backends.cudnn.enabled = True`和`torch.backends.cudnn.benchmark = True`。这样，CuDNN...
torch代码运行时显存溢出问题
qq_39643916的博客
10-27 4622
在实验室参与开发了一个评测平台。在使用的时候有部分攻击算法会出现显存溢出的情况。同时随着样本数增加，这种显存占用比会同比增加。而不是和预先设定的一样，仅和设置的batch_size相关。如此一来，对于一些占用显存本身就较大的算法，当样本数增加时，Docker虚环境肯定会崩溃。下面将给出我的整个搜索+解决问题的过程。 写在最前面的话 这个问题目前已经解决，最终发现报错的原因是，开发那边没有正确的把batch_size传入攻击算法中，导致出现了可能只有1张图像，但是开了一个65倍图像尺寸的空间（实际上3就够了）
Pytorch显存机制与显存占用(一) —— 理论分析(memory)(训练过程中占用显存最大部分的是activation)(pytorch缓存区/缓存分配器)
热门推荐
hxxjxw的博客
11-06 2万+
PyTorch在进行深度学习训练的时候，有4大部分的显存开销，分别是 ①模型参数(parameters) ②模型参数的梯度(gradients) ③优化器状态(optimizer states) ④中间激活值(intermediate activations) 或者叫中间结果(intermediate results)。 分别在深度学习的4个步骤中产生 1. 模型定义：定义了模型的网络结构，产生模型参数； while(你想训练): .........
简单粗暴配置：CUDA、CUDNN、Torch及多CUDA管理
最新发布
qq_46345319的博客
06-12 416
CUDNN官方链接： https://developer.download.nvidia.cn/compute/cudnn/redist/cudnn/windows-x86_64/CUDA下载链接：https://developer.nvidia.com/cuda-toolkit-archive。Torch 官网链接：https://pytorch.org/get-started/locally/Win+R打开命令行，输入cmd，在终端输入：nvidia-smi。将下载后的文件复制到相应的文件夹中即可。
torch节省内存（显存）的小技巧
爱CV
12-27 2496
在用pytorch实现一个tensorflow project的时候遇到了GPU显存超出 (out of memory) 的问题，不知道有什么优化方法。 高质量回答 Lyken 愿以有涯随无涯 https://www.zhihu.com/question/274635237/answer/755102181 咦，大家都没看过陈天奇的 Training Deep Nets with Sublinear Memory Cost （https://arxiv.org/abs/1604.061..
torch显存分析——如何在不关闭进程的情况下释放显存
weixin_44826203的博客
05-18 9594
torch显存占用分析，以及如何在不关闭进程的情况下，利用代码释放不再占用的显存。
解决训练网络时候显存一直增加的问题（torch）
zyrant丶的博客
06-02 1690
1.方法1： torch.backends.cudnn.enabled = True torch.backends.cudnn.benchmark = True 原理：
cuda,cudnn,python3.7,torch1.1.0,torchvision0.3.0
05-26
在IT领域，特别是深度学习和计算机视觉应用中，CUDA、CuDNN、Python、PyTorch和TorchVision是至关重要的组件。以下是对这些技术的详细介绍： **CUDA**（Compute Unified Device Architecture）是由NVIDIA推出的并行...
pytorch禁用cudnn（一行代码）
12-08
pytorch禁用cudnn（只有一行代码） torch.backends.cudnn.enabled = False
Pytorch释放显存占用方式
12-23
如果在python内调用pytorch有可能显存和GPU占用不会被自动释放，此时需要加入如下代码 torch.cuda.empty_cache() 我们来看一下官方文档的说明 Releases all unoccupied cached memory currently held by the caching...
【踩坑】深度学习 Torch 爆显存的原因（显存不够用等问题）
weixin_37879562的博客
11-04 2万+
简介 在深度学习过程中，使用显卡的情况主要有两个过程：一、网络模型训练过程；二、网络模型测试过程。在这两个过程中，都可能存在爆显存或者爆内存的情况。在编程过程中，有很多同学应该都遇到这种情况，本文提供了针对这些问题的解决方案供大家参考。 正常情况下无论是训练还是测试，显卡占用的显存资源不会大范围波动。 情况1 训练过程中爆显存 在训练过程中，如果出现显存不够用的情况，可以先分析具体什么情况。 （1）如果瞬间爆掉显存，很大可能是因为显卡加载模型并载入训...
torch.backends.cudnn.benchmark=True 的效果和坑
ONE_SIX_MIX的专栏
10-05 2077
系统环境 CUDA 11.1 gtx1070-8g win10 21h1 19043.1266 打开该选项 torch.backends.cudnn.benchmark=True 加快运算速度，但相比加速。。。。。。 最为直观的影响 计算误差会增大约1000倍。 显存占用会变为关闭时的 1.1 - 1.5 倍。 这个选项不能随便打开，影响很大。 以下为实验 cudnn.benchmark = False，显存占用为 3.0 G card_id: 0 elapsed/total: 1/10 max_diff_
解决CUDA占用的问题
qq_45770988的博客
11-14 512
2.kill pid (把 pid换成相应的进程对应的数字）1.nvidia-smi 查看哪些进程在占用cuda。ps-u 显示指定用户的进程信息。
Cudnn占用大量内存问题
XCCCCZ的博客
09-30 1074
近来在对一个3D图像识别模型做部署裁剪时发现，做了一些有效的裁剪后，模型启动后占用的内存虽然减少了两三百个M，但是再继续对网络做裁剪缺减少不明显了，包含封装调用这个模型的deepstream插件在内始终占用800多个M，感觉很奇怪，于是花了些时间，捣腾琢磨网络本身的C++实现代码，找出哪些代码执行后占用了可观的内存，最后发现，其他跟训练有关的可减的都减了也没见省多少内存，但是模型启动的过程中，当cudnn的API被第一次调用时，启动有卡顿，同时看着内存一路不停飙升，把相关网络层的代码注释掉试试，...
Pytorch显存分配机制与显存占用分析方法
夕小瑶科技说
08-12 3778
文 | Connolly@知乎（已授权）源 |极市平台作者最近两年在研究分布式并行，经常使用PyTorch框架。一开始用的时候对于PyTorch的显存机制也是一知半解，连蒙带猜的，经常来知乎上来找答案，那么我就吸收大家的看法，为PyTorch的显存机制做个小的总结吧。实验环境：OS: Ubuntu18.04python: 3.7.4PyTorch: 1.9.1GPU: ...
关于CUDA与CUDNN适配版本，以及安装中出现Bug的分析
MasterQKK
03-02 4594
CUDA, runtime API , CUDA driver , CUDNN版本 NVIDIA-SMI: 451.67, Driver Version: 451.67, CUDA Version: 11.0 Internal: Invoking GPU asm Check failed: status == CUDNN_STATUS_SUCCESS (7 vs. 0) Non-OK-status CUDA_ERROR_LAUNCH_FAILED unspecified launch f
快来优化你的Pytorch的显存占用吧
lftxd1的博客
12-06 831
本文介绍了使用混合精度训练和验证禁用梯度来优化显存的占用。根据笔者实测，混合精度训练对网络的影响几乎可以忽略不及，但是显存可以降低一半以上。
tensorflow占满gpu显存的解决方法
weixin_38284256的博客
06-17 1476
tensorflow如何控制gpu显存的方法网上有很多，d fromtensorflow.python.clientimportdevice_lib devices=device_lib.list_local_devices()
python torch cudnn 匹配
04-05
Python中的Torch和CUDNN可以匹配使用，这两个工具在深度学习领域中都扮演着重要的角色。 Torch是一个开源的机器学习库，它提供了很多用于构建神经网络的工具和函数，它还提供了一些高级的功能，如自动微分和GPU加速...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值