batchsize和数据量设置比例_Keras - GPU ID 和显存占用设定步骤

最新推荐文章于 2022-04-26 10:41:50 发布
最新推荐文章于 2022-04-26 10:41:50 发布
阅读量683 收藏
点赞数
文章标签： batchsize和数据量设置比例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39668890/article/details/111716141
版权
本文介绍了如何在Keras中设置GPU ID，实现显存按需分配和限制，以及利用fit_generator进行数据批量化处理以优化显存占用。通过示例展示了如何指定CUDA_VISIBLE_DEVICES环境变量，控制GPU使用，并给出关闭Session释放显存的方法。
摘要由CSDN通过智能技术生成

初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.

服务器上的多张 GPU 都占满, 有点浪费性能.

因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配.

实际中发现, Keras 还可以限制 GPU 显存占用量.

这里涉及到的内容有：

GPU ID 设定

GPU 显存占用按需分配

GPU 显存占用限制

GPU 显存优化

1. GPU ID 设定

?

这里将 GPU ID 设为 1.

GPU ID 从 0 开始, GPUID=1 即表示第二块 GPU.

2. GPU 显存占用按需分配

?

3. GPU 显存占用限制

?

这里虽然是设定了 GPU 显存占用的限制比例(0.3), 但如果训练所需实际显存占用超过该比例, 仍能正常训练, 类似于了按需分配.

设定 GPU 显存占用比例实际上是避免一定的显存资源浪费.

4. GPU ID 设定与显存按需分配

?

5. 利用fit_generator最小化显存占用比例/数据Batch化

?

5.1 数据 Batch 化

?

补充知识：Keras+Tensorflow指定运行显卡以及关闭session空出显存

Step1: 查看GPU

watch -n 3 nvidia-smi #在命令行窗口中查看当前GPU使用的情况， 3为刷新频率</

最低0.47元/天 解锁文章
weixin_39668890
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
优化问题 | 梯度下降的知识整理、Python实现及batch_size参数的总结
然然然然_
10-27 1239
主要介绍了批梯度下降、随机梯度下降、小批量梯度下降及其算法实现和对学习率参数的数据模拟；更多的自适应算法；batch_size参数的一些总结和数据模拟。
batch size大小的选择与显存
最新发布
m0_61688615的博客
07-24 4364
因为越大，虽然线程多了，但是切分到每一个线程消耗也大了，所以会增加CPU的负荷，从而降低对GPU的利用。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out of memry，那就调batch_size就完事了）梯度累加则实现了batchsize的变相扩大，如果accumulation_steps为8，则batchsize '变相' 扩大了8倍，是解决显存受限的一个不错的trick。GPU利用率低的因素有很多，一般情况下，
训练时GPU显存太小问题、batchsize 的大小跟GPU的显存的关系
专心扫地
08-11 2万+
参考链接：https://blog.csdn.net/lien0906/article/details/78863118 问题： tensorflow/core/common_runtime/bfc_allocator.cc:661] Chunk at 0x523cd7d00 of size 2048 tensorflow/core/common_runtime/bfc_allocator....
多GPU训练Batchsize对显存占用的影响
u010087277的博客
04-26 2879
多GPU训练模型
Batchsize
阿飞CVPR
06-10 375
在合理范围内，增大 Batch_Size 有何好处？ ①内存利用率提高了，大矩阵乘法的并行化效率提高。 ②跑完一次 epoch（全数据集）所需的迭代次数减少，对于相同数据量的处理速度进一步加快。 ③在一定范围内，一般来说 Batch_Size 越大，其确定的下降方向越准，引起训练震荡越小。 盲目增大 Batch_Size 有何坏处？ ①内存利用率提高了，但是内存容量可能撑不住了。 ②跑完一次 e...
keras使用multi_gpu_model多GPU拆分batshsize
22岁,是学生的博客
09-15 1751
先来看最终效果 两块卡GPU的利用率都会占满，训练速度会肉眼可见的提升 在此之前使用python的os库自带的GPU分配，代码如下 os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # 按照PCI_BUS_ID顺序从0开始排列GPU设备 os.environ["CUDA_VISIBLE_DEVICES"] = "1,0" # 设置当前使用的GPU设备仅为0号设备 设备名称为'/gpu:0' 如果只使用这两行代码会出现仍然是单块卡的占用率跑满，另
解决Keras使用GPU资源耗尽的问题
09-16
Batch Size是每次训练迭代中处理的数据量。如果Batch Size设置得过大，可能会导致GPU内存不足。因此，根据GPU的可用内存和模型复杂性，适当调整Batch Size也是解决资源耗尽问题的一个重要策略。 4. **数据预处理和...
cuda out of memory gpu还有空间_深度学习模型训练时如何优化GPU显存？（附TF和Paddle优化方式）...
weixin_39896256的博客
11-21 847
关注&置顶“Charlotte数据挖掘”每日9:00，干货速递！不知道大家在训练深度学习模型时有没有遇见过这种情况：设置的batch_size明明不大，譬如32或者16，但是怎么一跑模型，GPU的显存就占满了呢？原来我使用Tensorflow的训练的时候发现是这样，后来我使用PaddlePaddle的时候也是这样，我以为是框架本身出了问题，但是仔细研究后才发现，其实这两种框架都是...
keras实现多GPU或指定GPU的使用介绍
12-17
1. keras新版本中加入多GPU并行使用的函数 下面程序段即可实现一个或多个GPU加速： 注意：使用多GPU加速时，Keras版本必须是Keras2.0.9以上版本 from keras.utils.training_utils import multi_gpu_model #导入keras多GPU函数 import VGG19 #导入已经写好的函数模型，例如VGG19 if G <= 1: print("[INFO] training with 1 GPU...") model = VGG19（） # otherwise, we are compiling using m
tensorflow 任意 batch size 不溢出显存( OOM )，使用 darknet 的 sub batch 方法
lrt366的博客
07-25 1101
这方法很久之前就想弄了，网上( 百度 )除了 darknet 之外，没人弄这东西，无奈那时对 tf 的 Optimizer 和 梯度计算 理解很浅，没法弄，不久前看了个 tensorflow 的 eager run 的例子才弄懂 tf 的梯度计算方式。 原理很简单，例如一个 batch 的 size = 100，直接放进显卡会溢出，那我把这个 batch 再分成 10 个 sub batch，每...
keras指定batchsize
ys1305的博客
07-23 7007
具体的测试可以将keras中的第6.4程序 1、Sequential情况下 如果想要指定批次的大小，需要在第一层的输入形状中使用batch_input_shape 而不能使用input_shape，因为input_shape不能指定批次的大小，批次只能为None input_shape和batch_input_shape。 input_shape 不包含批量大小， batch_input_shap...
计算机视觉batch_size
进击的扛把子
07-02 1884
计算机视觉batch_size
C++编译的Tensorflow进行显存限制
ThorKing01的博客
11-14 1399
tensorflow进行模型时会将显存占满，导致不能与其他模型并行。 在Python中的Tensorflow显存设置代码 config=tf.ConfigProto(); config.gpu_options.per_process_gpu_memory_fraction=0.5 set_session(tf.Session(config=config)) 在C++中 GPUOption...
深度学习batchsize对结果的影响
热门推荐
zr459927180的博客
01-16 3万+
转自知乎 原文地址：https://www.zhihu.com/question/32673260 Charles Shang、Ricardo、GMKKT 等人赞同 谈谈深度学习中的 Batch_Size Batch_Size（批尺寸）是机器学习中一个重要参数，涉及诸多矛盾，下面逐一展开。 首先，为什么需要有 Batch_Size 这个参数？ Bat
深度学习训练中的GPU利用率和显存占用问题、num_workers&batch_size设置问题
weixin_46515047的博客
03-26 1万+
目录前言GPU显存GPU利用率batch_size不能选取过大来占据显存总结 前言 在跑数据集时碰到了GPU利用率浮动的问题，上网查了查解决方案。随手看了一下相关内容。。。深度学习就那么几个参数，调多了总能碰到合适的吧。 但我的GPU利用率浮动问题仍然没解决（50%-100%之间） GPU显存 占GPU显存的主要是两部分，一是模型网络的加载，而是batch_size大小的设置。模型的加载很难控制（但是考虑到部署的话就要考虑模型加载需要的显存问题了），一般调节batch_size来控制显存的占用（若出现out
科普帖：深度学习中GPU和显存分析
浩瀚之水的专栏
03-10 7514
深度学习最吃机器，耗资源，在本文，我将来科普一下在深度学习中： 何为“资源” 不同操作都耗费什么资源 如何充分的利用有限的资源 如何合理选择显卡 并纠正几个误区： 显存和GPU等价，使用GPU主要看显存的使用？ Batch Size 越大，程序越快，而且近似成正比？ 显存占用越多，程序越快？ 显存占用大小和batch size大小成正比？ 0 预备知识 nvidia-smi是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。 nvidia-smi
服务器keras没法显示所有gpu,Keras - GPU ID 和显存占用设定步骤
weixin_36123682的博客
08-05 374
初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.服务器上的多张 GPU 都占满, 有点浪费性能.因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配.实际中发现, Keras 还可以限制 GPU 显...
lite-model_keras-ocr_float16_2.tflite和lite-model_keras-ocr_dr_2.tflite的区别
05-26
该模型在训练时还使用了数据增强、Dropout 和 Batch Normalization 技术，以提高模型的泛化能力和减少过拟合。 因此，如果你的主要关注点是模型大小和运行速度，那么可以选择使用 `lite-model_keras-ocr_dr_2.tf...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值