Tensorflow,Keras使用动态显存分配

最新推荐文章于 2023-03-24 22:21:42 发布
最新推荐文章于 2023-03-24 22:21:42 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 深度学习 tensorflow 文章标签： tensorflow keras 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qi_sama/article/details/121943794
版权

使用tf，keras训练时常常占满显存，因此采用动态显存分配策略节约资源

import tensorflow as tf #这里如果用到tf2版本，则替换为> import tensorflow.compat.v1 as tf
config = tf.ConfigProto()
config.gpu_options.allow_growth=True
sess = tf.Session(config=config)

qi_sama
关注
专栏目录
TensorFlow 2.0之后动态分配显存
Scluis的博客
01-17 1490
import tensorflow as tf config = tf.compat.v1.ConfigProto() config.gpu_options.allow_growth = True sess = tf.compat.v1.Session(config = config) tf.compat.v1.keras.backend.set_session(sess)
keras指定gpu_Keras指定显卡并限制显存使用（tensorflow后端）
weixin_39752880的博客
12-20 362
这两天测了下自己基于Keras的某应用的rest-api，单进程的应用占满了整块GPU的显存，但是实际利用率很低，并发请求的时候完全是串行处理的。采用多线程的方式并没有加快速度，所以考虑使用多进程。但是！问题来了！Keras使用显卡时是默认调用所有的GPU，并且占满所有显存的！如果再跑一个进程就直接罢工，告诉你out of memory，真是太讨厌了！所以就很有必要搞清楚Keras如何指定GPU和...
keras和tensorflow动态分配显存
rocking_struggling的博客
08-03 877
tensoflow或者基于tensorflow的keras，好像默认会直接将GPU中所有的显存都读过来，然后慢慢用。 这样如果是服务器是的话，别人就没法用了，这里转载了动态分配显存的方法： tensorflow下，加入代码： config = tf.ConfigProto() config.gpu_options.allow_growth = True #设置动态分配显存 session = tf.Session(config=config, ...) 或者： config = tf.ConfigPr
Tensorflow 动态显存
weixin_42847126的博客
05-20 395
Tensorflow 动态显存
[图解tensorflow源码] [转载] tensorflow设备内存分配算法解析 （BFC算法）
weixin_30399871的博客
08-15 276
转载自http://weibo.com/p/1001603980563068394770 @ICT_吴林阳 tensorflow设备内存管理模块实现了一个best-fit with coalescing算法（后文简称bfc算法）。bfc算法是Doung Lea’s malloc(dlmalloc)的一个非常简单的版本。它具有内存分配、释放、碎片管理等基本功能。 关于dlmal...
动态内存分配
C_Rio的博客
03-24 459
在谈到动态内存分配之前我们就要谈谈C语言中的内存分配了：栈区 堆区 静态区：全局变量、static（关键字）声明的变量存储，在程序的整个生命周期都存在，程序结束，内存自动释放。：局部变量、形参存储（自动，连续的内存）出了作用域内存释放。：动态存储（非常大的内存池，非连续分配）可以自己分配任意大小的空间（不要超出最大空间范围），但要及时释放（手动），如果在变量使用结束时释放内存失败或未释放的话会造成内存泄漏，内存仍然被占用，不能被其它进程获取。
tensorflow_keras+GPU显存按需分配.doc
09-16
这个功能允许TensorFlow在运行过程中逐渐增加GPU的内存分配，而不是一开始就分配所有可用的显存。这可以防止因初始分配过大而导致的浪费。示例代码如下： ```python import tensorflow as tf physical_devices ...
Tensorflow与Keras自适应使用显存方式
12-17
3. **自适应分配**: 使用`gpu_options.allow_growth`选项，允许TensorFlow按需动态分配显存。这样可以避免一次性占用过多显存，浪费资源。例如： ```python config = tf.ConfigProto() config.gpu_options.allow_...
tensorflow指定GPU与动态分配GPU memory设置
12-20
除了动态内存分配，我们还可以通过`config.gpu_options.per_process_gpu_memory_fraction`设置每个进程可以使用的GPU内存比例。例如，如果希望每个进程只使用GPU总内存的50%，可以设置`config.gpu_options.per_...
TensorFlow1.x/2.x配置动态显存方法
hlld__的博客
08-06 1420
目录引言配置方法 引言 TensorFlow默认是占用全部的显存，不过比较BUG的是，就算模型用不了全部的显存，TensorFlow也会尽可能地多申请显存，可能是出于性能方面的考虑，并且如果满足不了它就会罢工。。比如我一块6GB显存的1660Ti或者RTX 2060，运行YOLOv4的推理程序如果不配置动态增长显存就会报错，不管是TensorFlow 1.x还是2.x的版本我都遇到了这样的问题。明明用darknet运行啥事都没有，就这货会搞事情。。下面简单记录下TensorFlow 1.x / 2.x版本的
Tensorflow中的内存分配
weixin_42721176的博客
06-07 1154
Tensorflow系统复杂，支持平台多，各类数据结构也多，所以设计一个统一的内存管理分配接口很重要。本文主要探讨tensorflow中的内存分配的相关机制，会重点研究其中实现的两种分配算法。 内存分配是系统中非常重要的一环，大家平常接触最多的就是malloc(new)和free(delete)。也就是分配和施放，在tensorflow中也是这样。Tensorflow提供了一个公共的接口类，Allocator类，该类提供了两个重要的方法： AllocateRaw分配内存，DeallocateRaw施
Tensorflow内存分配与Keras模型参数
weixin_34310785的博客
06-26 462
2019独角兽企业重金招聘Python工程师标准>>> ...
tensorflow 动态分配内存以及设置使用那块gpu的方法
tech_chenlongzhen的博客
01-20 1万+
动态内存 config = tf.ConfigProto() config.gpu_options.allow_growth=True sess = tf.Session(config=config) 如何控制GPU资源率 （参考：http://blog.csdn.net/u012436149/article/details/53837651） allow growth c
tensorflow内存分配器剖析
jiangbo1017的专栏
11-24 1222
tensorflow基于Doug Lea的malloc实现了自己的一套内存分配器．（简易版本的dlmalloc）通过合并的方式减少内存碎片．前提是假设使用这个分配器的进程拥有很大的内存，并且所有的内存分配请求都是通过这个接口． 代码路径： core/common_runtime/bfc_allocator.h关键数据结构以及变量含义： Chunk：指向一块内存，prev/next指针组成了一个
3_深度学习中显卡的使用和显存的分配（20181213）
求真、务实
12-13 6675
深度学习中显卡的使用和显存的分配（20181213）1、tensorflow 中显卡使用和显存分配1、显卡的使用，单显卡和多显卡使用2、显存分配2、Pytorch 中显卡使用和显存分配3、Keras 中显卡使用和显存分配 1、tensorflow 中显卡使用和显存分配 1、显卡的使用，单显卡和多显卡使用 2、显存分配 现存分配 在学习莫烦教程中的一个例子的时候，运行报错： Tensorflow...
动态内存分配 （详解版）
热门推荐
qq_36698189的博客
03-18 1万+
动态内存分配 （详解版） malloc和free C++语言允许使用C语言标准库函数中malloc和free申请和释放内存，保留这两个函数主要有以下3点考虑： C++程序经常要调用写好的C函数，而在C语言中，只能使用malloc和free； 如果C++程序要允许在C语言环境下，必须使用malloc和free new和delete的功能是通过调用malloc和free来实现的 new和delete是C++运算符，new和delete是C标准库函数。 C函数库提供了malloc和free两个函数，分别用于执
如何防止Tensorflow分配整个GPU内存？
lcczzu的专栏
06-13 1646
我在共享计算资源的环境中工作，也就是说，我们有几台服务器机器都配备了几个Nvidia Titan X GPU。 对于小到中等尺寸的模型，Titan X的12GB通常足以让2-3人在同一GPU上同时进行训练。如果模型足够小，以至于单个模型不能充分利用Titan X的所有计算单元，那么实际上可以导致某种加速（相比串行多个训练任务来说）。即使在GPU的并发访问确实减慢了单个训练时间的情况下，同时在GP...
Tensorflow2对GPU内存的分配策略
无风听海
08-10 1346
一、问题源起 从以下的异常堆栈可以看到是BLAS程序集初始化失败，可以看到是执行MatMul的时候发生的异常，基本可以断定可能数据集太大导致memory不够用了。 2021-08-10 16:38:04.917501: E tensorflow/stream_executor/cuda/cuda_blas.cc:226] failed to create cublas handle: CUBLAS_STATUS_NOT_INITIALIZED 2021-08-10 16:38:04.960048: E te
TensorFlow禁用GPU和动态分配显存
天边一坨浮云
06-03 980
TensorFlow禁用GPU和动态分配显存
tensorflow加载模型到指定GPU按需分配显存
最新发布
05-09
在 TensorFlow 中，可以通过 `tf.config.experimental.set_visible_devices()` 方法来设置可见的 GPU 设备，并使用 `tf.config.experimental.set_memory_growth()` 方法来动态分配显存。 以下是一个示例代码，加载模型并将其放置在第二个可见 GPU 上，并动态分配显存： ```python import tensorflow as tf # 设置可见 GPU 设备 visible_devices = tf.config.experimental.list_physical_devices('GPU') tf.config.experimental.set_visible_devices(visible_devices[1], 'GPU') # 动态分配显存 for gpu in visible_devices: tf.config.experimental.set_memory_growth(gpu, True) # 加载模型 model = tf.keras.models.load_model('my_model.h5') ``` 需要注意的是，`set_visible_devices()` 方法只能在 TensorFlow 2.1 及以上版本中使用。如果你的 TensorFlow 版本较低，可以使用 `CUDA_VISIBLE_DEVICES` 环境变量来设置可见的 GPU 设备。例如： ```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '1' # 设置第二个可见 GPU import tensorflow as tf # 动态分配显存 config = tf.ConfigProto() config.gpu_options.allow_growth = True # 加载模型 sess = tf.Session(config=config) with sess.as_default(): model = tf.keras.models.load_model('my_model.h5') ``` 这种方法需要使用 `tf.Session()` 来创建会话，稍微麻烦一些。如果你的 TensorFlow 版本较新，建议使用第一种方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值