tf-gpu为啥子不会并行？？——总是只用一个卡

最新推荐文章于 2020-12-10 13:15:51 发布
最新推荐文章于 2020-12-10 13:15:51 发布
阅读量820 收藏 1
点赞数 2
分类专栏： python 文章标签： tf-gpu GPU并行？
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SPESEG/article/details/103421870
版权
博主在尝试让TF-GPU并行运行时遇到困扰，发现无论采用指定GPU、内存增长等方法都未能成功启用多卡。尝试Keras的multi_gpu_model函数也没有显著速度提升。分析可能原因是数据预处理在CPU上进行，导致GPU并行受限。建议将数据处理移到GPU以改善性能。同时，提供了相关QQ群供讨论。
摘要由CSDN通过智能技术生成

没有任何特殊设置，甚至都没有GPU设置，我都不知道这是为啥子？同样的程序，

【本文是死磕笔记的持续】

我跟说理去，这真是郁闷了，我想同时用起来这几个卡，为啥子就是不行呢？？

试试我之前的方法吧：

1-指定GPU

这是最笨的方法，也可能是没有任何屁用的方法。

os.environ["CUDA_VISIBLE_DEVICES"] = "0,1"

事实以及实际证明没屁用。

2-内存增长

emm，这个看起来还有点技术含量，

了解本专栏 订阅专栏 解锁全文 超级会员免费看
小李飞刀李寻欢
关注
专栏目录
订阅专栏
tf2-gpu2.1安装.doc
06-20
显卡驱动是 NVIDIA 图形卡的驱动程序，CUDA 是 NVIDIA 的并行计算平台，而 Cudnn 是 CUDA 的一个子项目，提供了深度学习框架。 要安装 CUDA，需要从 NVIDIA 官方网站下载对应的安装包。当前最新版本的是 CUDA 10.1...
多GPU并行训练 tensorflow demo
08-10
神经网络 深度学习 多GPU并行训练 tensorflow demo MNIST
PyTorch多个GPU（Data Parallelism）并行与单个GPU的使用
Moon2105的博客
07-06 1064
1.划重点 模型放到一个GPU上运行model.gpu() tensor = my_tensor.gpu() 模型放在多个GPU上运行 上文中的model.gpu()默认只使用一个GPU，如果你有多个GPU的话，model = nn.DataParallel(model) 注意 DataParallel并行计算只存在在前向传播 2.有例子 下面通过一个线性回归的例子来说明；一个输出通过线性变换得到一个结果 #包的导入 import torch import torch.nn as n..
TensorFlow-gpu版本的安装
牧野渔樵
10-08 8565
TensorFlow-gpu版本的安装 最近在学习tensorflow，所以记录一下gpu版本的安装过程（推荐使用Anaconda安装） ps: 1.Tensorflow-gpu版本需要安装CUDA和cuDNN，而且需要和tensorflow-gpu的版本进行匹配，否则会出错，我下载的是CUDA Toolkit 9.0 和cuDnn 7.0 点击查看最新tensorflow支持的CUDA版本： t...
【安装】Windows 下 TensorFlow 的安装（tensorflow-gpu、CUDA 10.0、cuDNN v7.6.3）——2019-09-03
tz_zs的博客
01-06 702
____tz_zs 上一篇关于 TensorFlow 安装的文章 《【安装】Windows下 TensorFlow 的安装（包含：CUP版、GPU版、CUDA、cuDNN）》，已经是两年前所写的了。时过境迁，有些方法和注意点可能已经不再适用，后来一直在 Ubuntu 上开发，windows 上的环境一直没更新也已经太过老旧。所以干脆重新从零开始配置一套环境。 值得庆幸的是，TensorFlow 官...
【BUG】Keras用了multi_gpu_model，但用Nvidia-smi看只用了一块显卡GPU
xiangduixuexi的博客
11-25 1710
解决方法很简单，在你原来使用multi_gpu_model外层加上两句代码：strategy = tf.distribute.MirroredStrategy(devices=["/gpu:0","/gpu:1", "/gpu:2"]) with strategy.scope():
Tensorflow-gpu 1.15安装（csdn）————程序.pdf
12-04
而cuDNN（CUDA Deep Neural Network）是NVIDIA为深度神经网络提供的一个库，包含了针对卷积神经网络的高效、优化的算法，能够显著提升GPU上的深度学习性能。 **- Tensorflow与CUDA的对应关系** Tensorflow-gpu的...
tf-faster-rcnn指南（三）——训练模型-附件资源
03-05
tf-faster-rcnn指南（三）——训练模型-附件资源
tf_nightly_gpu-1.5.0.dev20171116-cp35-cp35m-win_amd64。whl
11-17
tf_nightly_gpu-1.5.0.dev20171116-cp35-cp35m-win_amd64.whl 最新版tensorflow windows+python3.5
Python-小型Python库自动将CUDAVISIBLEDEVICES设置为多GPU系统上最小负载的设备
08-10
小型Python库自动将CUDA_VISIBLE_DEVICES设置为多GPU系统上最小负载的设备
tensorflow检查op是否可导（反向传播）
dlhlSC的博客
11-03 3450
GPU云服务器（支持Jupyter）内置Jupyter、Pycharm的云服务器，访问GPU云服务器网站 1.安装最新版tf--tensorflow1.5,gpu版本需要CUDA8和cudnn6,命令如下 GPU版：sudo pip3 install tf-nightly-gpu CPU版：sudo pip3 install tf-nightly 对应pip网站:https://pyp...
TensorFlow引入了动态图机制Eager Execution
weixin_33884611的博客
11-01 912
PyTorch 的动态图一直是 TensorFlow 用户求之不得的功能，谷歌也一直试图在 TensorFlow 中实现类似的功能。最近，Google Brain 团队发布了 Eager Execution，一个由运行定义的新接口，让 TensorFlow 开发变得简单许多。在工具推出后，谷歌开发人员 Yaroslav Bulatov 对它的性能与 PyTorch 做了横向对比。今天，我们为 Te...
tensorflow简易安装
10-22 3484
https://github.com/tensorflow/tensorflow 下载whl pip install tf_nightly-1.head-cp27-none-linux_x86_64.whl pip install scipy -i http://pypi.douban.com/simple/ pip install sklearn -i https://mirrors.u
使用Keras进行多GPU训练 multi_gpu_model
weixin_30617737的博客
12-03 1900
使用Keras训练具有多个GPU的深度神经网络（照片来源：Nor-Tech.com）。 摘要 在今天的博客文章中，我们学习了如何使用多个GPU来训练基于Keras的深度神经网络。 使用多个GPU使我们能够获得准线性加速。 为了验证这一点，我们在CIFAR-10数据集上训练了MiniGoogLeNet。 使用单个GPU，我们能够获得63秒的时间段，总训练时间为74分10秒。 然而，通...
（通用）深度学习环境搭建：tensorflow安装教程及常见错误解决
weixin_34055910的博客
10-24 553
区别于其他入门教程的“手把手式”，本文更强调“因”而非“果”。我之所以加上“通用”字样，是因为在你了解了这个开发环境之后，那些很low的错误你就不会犯了。 大家都知道深度学习涉及到大量的模型、算法，看着那些乱糟糟的公式符号，心中一定是“WTF”。我想说的是，这些你都不要管，所谓车到山前必有路。 所需安装包 通常以我的习惯是以最简单的方式...
简单记录TensorFlow2-gpu配环境的几个坑
wudongzhiyewoniu的博客
03-12 1771
简单记录TensorFlow2-gpu配环境的几个坑简单记录TensorFlow2-gpu配环境的几个坑 简单记录TensorFlow2-gpu配环境的几个坑 时间紧，简单记个流水账。 Win10上安装了Anaconda3-2019.10-Windows-x86_64， Spyder中pip tf-nightly-gpu 装上了最新版的tf2.2， 装cuda10.2，装cudnn，插一句，显卡g...
tensorflow 自定义梯度_TensorFlow 2.0 下多 GPU 自定义并行训练
weixin_39607450的博客
12-10 433
最近研究了一下 TF 2.0 下的加载 TFRecord 文件的多 GPU 自定义并行训练代码的写法，踩了几个坑，在这里记录一下。注意：本文介绍使用 Custom training loop 实现多 GPU 并行训练，请使用tf.keras中定义的层构建模型；如果使用Keras（非tf.keras）请不要参考本文，原因请参考 @windows98 大佬的观点：TF并没有变成keras，只是改造了k...
使用tf 时gpu的设置
骐骥一跃，不能十步；驽马十驾，功在不舍。
07-29 3901
使用GPU跑tensorflow程序，默认加载所有的GPU，但计算过程中只会用其中一块。也就是你看着所有GPU都被占用了，以为是在GPU并行计算，但实际上只有其中一块在运行；另外的所有显卡都闲着，但其显存都被占用了，所以别人也用不了。不过这种情况通过在程序之前加三行代码就可以解决： import os os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" os.environ['CUDA_VISIBLE_DEVICES'] = "0" 这行代码加在TensorF
如何查看自己安装的tensorflow-gpu是否可以成功使用？
最新发布
09-20
在Python环境中检查TensorFlow-GPU是否安装并能正常使用的步骤如下： 1. 首先，打开命令行终端或者Anaconda Prompt（如果你使用的是 Anaconda 环境）。 2. 确保已经激活了含有TensorFlow的虚拟环境，如果没有，请先激活它。如果是Python 3，输入 `source activate yourenv`；如果是Python 2，输入 `activate yourenv`。 3. 进入Python交互模式，输入以下代码并运行： ```python import tensorflow as tf ``` 4. 如果TensorFlow GPU版本可用，会打印出类似这样的信息： ``` TensorFlow: GPU is enabled, using CUDA version <CUDA_version> ``` 其中 `<CUDA_version>` 会被具体的CUDA版本号替换。 5. 如果显示GPU支持并且能够识别到GPU，尝试创建一个简单的张量操作，如 `tf.device('/GPU:0')`，这将会将计算放在第一个可用的GPU上。如果程序无错误地执行了，那就说明GPU已经设置好了。 6. 如果遇到错误，可能是由于显卡驱动、CUDA或cuDNN未正确配置，需要检查相应的文档或按照官方指南更新。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小李飞刀李寻欢

您的欣赏将是我奋斗路上的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值