tensorflow 动态分配内存以及设置使用那块gpu的方法

本文介绍了如何在TensorFlow中配置GPU内存使用策略,包括通过设置`allow_growth`选项实现按需分配内存,避免内存碎片问题;以及通过`per_process_gpu_memory_fraction`参数限定进程占用的GPU内存比例。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

动态内存

config = tf.ConfigProto()  
config.gpu_options.allow_growth=True  
sess = tf.Session(config=config)

如何控制GPU资源率


(参考:http://blog.csdn.net/u012436149/article/details/53837651)

allow growth

config = tf.ConfigProto()
config.gpu_options.allow_growth = True
session = tf.Session(config=config, ...)
使用allow_growth option,刚一开始分配少量的GPU容量,然后按需慢慢的增加,由于不会释放内存,所以会导致碎片
per_process_gpu_memory_fraction

gpu_options=tf.GPUOptions(per_process_gpu_memory_fraction=0.7)
config=tf.ConfigProto(gpu_options=gpu_options)
session = tf.Session(config=config, ...)
设置每个GPU应该拿出多少容量给进程使用,0.4代表 40%

控制使用哪块GPU卡

控制方式
~/ CUDA_VISIBLE_DEVICES=0  python your.py#使用GPU0
~/ CUDA_VISIBLE_DEVICES=0,1 python your.py#使用GPU0,1
注意单词不要打错

reference

http://blog.csdn.net/sunwuhuang1/article/details/53946462
### TensorFlow 内存分配机制 TensorFlow内存分配机制主要涉及 GPU 和 CPU 上的资源管理。以下是关于 TensorFlow 内存分配的具体说明以及如何优化其性能。 #### 1. 默认内存分配行为 TensorFlow 在启动时,默认情况下会占用尽可能多的 GPU 显存,这种行为被称为“非动态增长模式”。这意味着如果系统中有足够的显存可用,则 TensorFlow 将尝试一次性占据大部分显存空间[^2]。这种方式虽然可以提高某些场景下的效率,但在实际应用中可能会导致其他程序无法正常访问剩余的显存资源。 #### 2. 动态增长模式配置 为了更高效地利用 GPU 资源并减少不必要的冲突,可以通过设置 `allow_growth` 参数来启用动态增长模式。在这种模式下,TensorFlow 只会在真正需要的时候逐步增加所使用的显存量,而不是一开始就抢占全部可能的空间: ```python import tensorflow as tf gpus = tf.config.experimental.list_physical_devices('GPU') if gpus: try: for gpu in gpus: tf.config.experimental.set_memory_growth(gpu, True) except RuntimeError as e: print(e) ``` 上述代码片段展示了如何通过 Python API 配置每一块检测到的 GPU 设备进入允许增长状态。 #### 3. 手动限制最大可使用显存比例 除了开启动态增长外,还可以进一步手动指定 TensorFlow 最大能够消耗的 GPU 卡百分比。这有助于更好地控制实验环境中的硬件资源共享情况: ```python from tensorflow.compat.v1 import ConfigProto from tensorflow.compat.v1 import InteractiveSession config = ConfigProto() config.gpu_options.per_process_gpu_memory_fraction = 0.4 # 设置为总显存容量的40% session = InteractiveSession(config=config) ``` 这里我们将单进程所能获取的最大 GPU 显存设定为其总量的百分之四十作为例子演示[^4]。 #### 4. 切换至仅使用 CPU 运算 当遇到特定任务不适合或者不需要依赖于图形处理器加速计算时,可以选择强制让整个模型训练过程完全基于中央处理器完成运算操作。这样做的好处是可以避免因频繁切换上下文带来的额外开销同时也简化调试流程: ```python with tf.device('/CPU:0'): ... ``` 只需简单地将目标节点包裹在一个带有 `/CPU:0` 标识符的选择器内部即可实现这一目的[^3]。 #### 5. 清理未被释放的缓存数据 无论是处于哪种类型的设备之上,在结束一轮迭代之后都应该及时清除掉那些不再必要的临时变量从而腾出更多存储位置供后续阶段继续沿用下去。对于 PyTorch 用户来说可以直接调用 `.cuda().empty_cache()` 方法达成清理效果;而对于 TF 来讲则需借助外部工具比如 nvidia-smi 命令行指令来进行监控与调整。 --- ### 总结 通过对 TensorFlow 提供的不同选项合理组合运用——包括但不限于激活动态扩展功能、定量约束上限额度以及必要时刻退回到纯软件层面处理事务等等措施相结合起来共同作用之下往往可以获得较为理想的综合表现成果出来。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值