Tensorflow-gpu运行代码慢的问题

最新推荐文章于 2023-10-22 10:01:09 发布
VIP文章 最新推荐文章于 2023-10-22 10:01:09 发布
阅读量5.1k 收藏 7
点赞数 2
文章标签： tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39217937/article/details/108013099
版权

Tensorflow-gpu运行代码慢的问题排查

总结一次踩坑经历。

1. 查看代码是否运行在Tensorflow-gpu版本

检查是否同时安装了Tensorflow和Tensorflow-gpu两个版本，如果都安装了，卸载cpu版本的。

2. 查看GPU占用情况

一边运行代码，一边查看此时GPU的占用情况，可以反映出这个代码是否用了GPU加速。Ctrl+R进入命令窗口，在C:\Program Files\NVIDIA Corporation\NVSMI 路径下输入命令 nvidia-smi 查看GPU的占用情况。
在这里插入图片描述

这个图说明GPU占用了80%，说明代码正在使用GPU，也可以终止代码运行再查看一次。

最低0.47元/天 解锁文章
weixin_39217937
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
概率matlab经典代码-tfdiffeq:具有完整GPU支持的常微分方程求解器的Tensorflow实现
05-21
概率matlab经典代码Tensorflow常微分方程求解器 建立的程式库可复制为所建立的程式库，完全在Tensorflow Eager Execution上执行。 该代码库的所有功劳都为重新实现提供了良好的基础。 与PyTorch代码库相似，该库提供了在Tensorflow Eager中实现的常微分方程（ODE）求解器。 有关在深度学习应用程序中使用ODE求解器的信息，请参见。 本文也支持增强型神经ODE架构，该架构已被证明可以解决神经ODE可能遇到的某些问题。 本文对通用微分方程的支持（对于ODE情况）。 尽管速度很慢，并且仅限于ODE，但它在示例笔记本中所述的Lotke Voltera系统上运行良好。 本文对Hypersolvers的支持。 当前实现HyperEuler和HyperHuen 。 本文提出了几乎相同的方法。 注意：一旦论文发布了源代码，这些API可能会发生变化。 由于from，现在支持Dopri5求解器的Adjoint方法。 由于求解器是在Tensorflow中实现的，因此该存储库中的算法完全支持在GPU上运行，并且是可区分的。 还支持可直接使用或嵌入在较大体系结构
欧氏距离matlab代码-Tensorflow_Pytorch_Sinkhorn_OT:用于计算两个离散分布之间的最佳运输（OT）距离的Sin
05-27
欧氏距离matlab代码Tensorflow_Pytorch_Sinkhorn_OT 用于计算两个离散分布之间的最佳运输（OT）距离的Sinkhorn算法[1]的Tensorflow（1.0或2.0）和Pytorch实现。 概述 这些实现是从Cuturi到Tensorflow和Pytorch的改编，它们能够利用其自动差异功能和在GPU上运行的能力。 这些实现并行计算N对离散分布对（即，概率向量）之间的OT距离。 它对应于Cuturi实施中的“ N倍1-vs-1模式”。 输入 a ：D_1×N矩阵，每列是D_1维（规格化）概率向量。 b ：D_2×N矩阵，每列是D_2维（规格化）概率向量。 M ：D_1×D_2矩阵，成本函数正，对角线应为零。 lambda_sh, numItermax, stopThr ：算法的参数，与Cuturi的实现相同。 a, b, M是Tensorflow或Pytorch的张量，因此，反向传播适用。 输出 该算法输出一个N维矢量，第n个元素是a[:,n]与b[:,n]之间的（近似）OT距离。 测试 在test.py文件中，提供了Cuturi的Matlab实现与我
使用Tensorflow-GPU禁用GPU设置(CPU与GPU速度对比)
09-16
主要介绍了使用Tensorflow-GPU禁用GPU设置(CPU与GPU速度对比)，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
去噪代码matlab-DeepInverseKinematicsSolver:DeepInverseKinematicsSolver
05-27
去噪声代码matlab 深度逆运动学求解器 逆向运动学的问题是通过深度神经网络解决的，并由迄今为止最大的人类mocap数据库进行了训练。鉴于IK问题中的多解挑战，训练模型选择了与姿势最相符的姿势真正的表演者。通过与基准数据库进行比较，可以验证这种一致性。 准备 硬件要求 这些神经网络是在标准计算机上经过培训和测试的，操作系统为：Ubuntu，CPU：Intel:registered:Core:trade_mark:i7-6800K CPU @ 3.40GHz×12，GPU：Nvidia TITAN Xp，内存：16G。 由于训练基于此设备的网络大约需要60个小时，因此更高的配置和更大的内存会更好。 软件要求并包括库 的Python 3 Tensorflow（GPU版本更好） Matlab的 脾气暴躁等 IK解算器实现 培训和测试数据准备 请通过此链接下载bvh文件，并提取密码为ew8u。 然后将整个data_full文件夹放入TrainingCodePrepare->TrainingMaterial->bvh_file ，通过在MATLAB中运行TrainingDataPrepare.m文件来准备训练和测试数据集，或遵循以下命令
Deep-QLearning-Agent-for-Traffic-Signal-Control:深入的Q-Learning强化学习代理尝试在交叉路口选择正确的交通信号灯相位以最大化交通效率的框架
04-30
用于交通信号控制的Deep Q学习代理 深入的Q-Learning强化学习代理尝试在交叉路口选择正确的交通信号灯相位以最大化交通效率的框架。 我已将其上传到此处，以帮助任何人寻找通过SUMO进行深度强化学习的良好起点。 这段代码是从我的硕士论文中提取的，它代表了我的论文工作所用代码的简化版本。 我希望您可以找到此存储库对您的项目有用。 入门 这些说明将为您提供在本地计算机上运行的项目的副本。 我认为，以下是最简单的步骤，以便以最少的工作量从头开始运行算法。 强烈建议使用配备NVIDIA GPU的计算机。 下载Anaconda（）并安装。 下载SUMO（ ）并安装。 按照简短指南正确正确地安装tensorflow-gpu，不会出现问题。 简而言之，该指南告诉您打开Anaconda Prompt或任何终端，然后键入以下命令： conda create --name tf_gpu ac
tensorflow越跑越慢_为什么我的tensorflow代码运行得这么慢？批量大小为1
weixin_29468561的博客
02-22 1035
所以我有以下的目标函数。它一次只适用于一个培训示例(我有避免批处理的理由)。正如你所看到的，它非常轻，所以我希望它运行得非常快。在def objective(data, lam, item_biases, latent_items, latent_users):user = data[0]rated_item = data[1]unrated_item = data[2]rated_item_bi...
深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析
qq_41568188的博客
06-02 5388
在深度学习模型训练过程中，在服务器端或者本地pc端，输入nvidia-smi来观察显卡的GPU内存占用率（Memory-Usage），显卡的GPU利用率（GPU-util），然后采用top来查看CPU的线程数（PID数）和利用率（%CPU）。往往会发现很多问题，比如，GPU内存占用率低，显卡利用率低，CPU百分比低等等。接下来仔细分析这些问题和处理办法。** GPU内存占用率问题 这往往是由于模型的大小以及batch size的大小，来影响这个指标。当你发下你的GPU占用率很小的时候，比如40%，70%
tensorflow越跑越慢_Tensorflow启动速度快，在训练过程中速度变慢
weixin_39862871的博客
12-19 491
我是一名电气工程专业的学生，​​我试图根据锅炉内电阻器的功率，锅炉内水的温度和通过boiller使用python 3.5和tensorflow。 问题是，我是一个初学者在python和tensorflow，我写了这个代码可行，但训练开始快速而迅速地开始放慢速度，并且在训练中间开始在步骤之间花费时间。 我只是需要一些帮助的优化，当然，欢迎任何提示！ 非常感谢！ 下面是代码：Tensorflow启动速...
tensorflow越跑越慢_跑得很累还很废？那是你不懂这个关键数据！
weixin_39759441的博客
12-07 176
▲ Photo via Will Graham on Behance刚刚结束不久的厦门马拉松，一位曾经参加过跑步学院训练营的小伙伴，也去参加了比赛，而且成绩还不错。在赛后跟我们的聊天中，他说自己从上学时就很喜欢跑步，并且也是校队的常客，代表学校参加了很多比赛，基本上都能跑进前五名。但与很多同水平的跑者不同，他的训练从不只是专注于配速，他说自己更愿意系好鞋带，然后一次又一次坚毅而稳定的跑下去。而根据...
vad函数matlab代码-tf-kaldi-speaker:基于Kaldi和Tensorflow的神经说话人识别/验证系统
05-20
vad函数matlab代码由于版权问题，我只能发布在2019年1月之前开发的单个GPU版本。一些实现也需要改进，例如GPU内存分配。 该库仍可以用作说话者验证的框架。 多GPU和其他方法可以用更少的精力添加。 注意当您使用extract.sh提取发言人嵌入时，请确保TensorFlow是在没有MKL的情况下编译的。 据我所知，anaconda安装的TF的某些版本是使用MKL编译的。 当TF在CPU上运行时，它将使用多个线程。 如果您运行多个进程（例如40），这将是有害的。 线程冲突将使提取极其缓慢。 对我来说，我使用pip安装TF 1.12，并且可以正常工作。 概述 tf-kaldi-speaker使用和实现了基于神经网络的说话者验证系统。 主要思想是，可以使用Kaldi进行预处理和后期处理，而TF是构建神经网络的更好选择。 与Kaldi nnet3相比，使用TF进行网络修改（例如，增加注意力，使用不同的损失函数）的成本更低。 还可以添加其他功能来支持与文本相关的说话者验证。 该项目的目的是使基于神经网络的说话人验证的研究更加容易。 我还尝试在论文中重现一些结果。 要求 Python：
轻松解决tensorflow GPU启动慢的问题
Sciws的博客
06-14 3858
最近在用tf的时候,发现电脑的GPU启动非常慢,在Adding visible gpu devices: 0要卡很久，很慢。调用到了0号GPU,就是一只卡在那里.要么就是下面一步卡顿很久解决办法：在环境变量->系统变量中添加CUDA_CACHE_MAXSIZE=6442450944，然后重启电脑。启动GPU就会变得飞快，可能重启后第一次会稍微缓慢一点。注意后面这个值取决于不同电脑配置：显存*1024*1024*1024比如说我的GPU是3060 6GB的显存 那么这个值就是6*1024*1024*1024.
问题记录：GPU显卡提高后，代码总体运行效率没有提高
最新发布
qq_40306845的博客
10-22 380
GPU性能提高，代码总体运行效率没有提高，可能是GPU没用用上或者是GPU和CPU性能效率没有对齐。
tensorflow越跑越慢_tensorflow sess.run()越来越慢的原因分析及其解决方法
weixin_39827850的博客
12-19 946
最近在训练一个检测器，由于训练数据不足因此需要做数据增强，那么我这边写了代码去做数据增强(这部分将会在下一篇进行介绍)，其中使用到了tensorflow会话获取数据，可是问题出现了！gtx 1080ti显卡11G的内存，总共才处理六万张图像，但是运行速度越来越慢，眼看吃完晚饭散步回来几个小时了还没见有处理到一半，这就让我不得不探索个究竟并期待解决这类问题了！此篇文章，我们只谈思路不谈代码，但会给一...
Tensorflow训练模型越来越慢
热门推荐
天然玩家的博客
05-15 1万+
1 解决方案 【方案一】 载入模型结构放在全局，即tensorflow会话外层。 '''载入模型结构:最关键的一步''' saver = tf.train.Saver() '''建立会话''' with tf.Session() as sess: for i in range(STEPS): '''开始训练''' _, loss_1, acc, summary = sess.run(...
TensorFlow如何提高GPU训练效率和利用率
Color Space的博客
11-10 1516
TensorFlow如何提高GPU训练效率和利用率 9前言 首先，如果你现在已经很熟悉tf.data+estimator了，可以把文章x掉了╮(￣▽￣””)╭ 但是！如果现在还是在进行session.run(..)的话！尤其是苦恼于GPU显存都塞满了利用率却上不去的童鞋，这篇文章或许可以给你打开新世界的大门噢(￣∇￣) 如果发现经过一系列改良后训练效率大大提高了，记得回来给小夕发小红包(￣...
为什么适用于Python的TensorFlow正在缓慢消亡
起码有故事
02-06 281
在 HuggingFace 的帮助下，工程师可以使用大型、经过训练的和调优的模型，只需几行代码就可以将它们合并到他们的工作流程管道中。关于 IDE 的讨论似乎没有尽头，有些人喜欢 VisualStudio，有些人喜欢 IntelliJ，还有一些人更偏爱普通的旧编辑器，如 Vim。这两个阵营背后都有大量的支持者，并且他们都有充足的理由来说明为什么他们所喜欢的框架是最好的。另一方面，TensorFlow 凭借其卓越的生态系统、部署功能以及对其他语言的支持，仍将是深度学习领域的一员大将。
一分钟解决tensorflow2.0版本的GPU启动慢问题
qq_41129525的博客
09-04 5746
一分钟解决tensorflow2.0版本的GPU启动慢问题 #最近在用tf的时候,发现电脑的GPU启动非常慢,调用到了0号GPU,就是一只卡在那里. 如图 从图中我们可以看到,我的GPU启动花了12分钟. 删掉安装的CUDA以后,非常快就跑出结果了,这是为什么呢?难道我们安装的不是GPU版本吗? 其实不是的,TF2.0已经把cpu和gpu合在一个包里面了,也就是说安装tf=2.1和tf-gpu=2.1是一样的.那么怎么解决呢?下面一分钟教你一分钟解决 首先打开windows的环境变量,然后添加一个变量,
RTX3050 使用深度学习 启动特别慢
刘文凯的博客
12-25 4519
RTX3050 及其他RTX30 系列显卡 启动tensorflow-gpu特别慢 原因： RTX30 系列显卡 仅仅支持cuda11.0以后的版本，不支持cuda10.0等等 解决： 使用以下对应版本成功解决 显卡: RTX3050 cudatoolkit==11.2.0 cudnn==8.1.0.77 tensorflow-gpu==2.6.0 tensorflow版本对应： https://tensorflow.google.cn/install/source_windows ...
怎么升级tensorflow-gpu'
08-21
### 回答1： 你可以使用以下命令来升级tensorflow-gpu： ``` pip install --upgrade tensorflow-gpu ``` 请确保在升级之前已经安装了CUDA和cuDNN，并且它们与新版本的tensorflow-gpu兼容。同时，请注意新版本的tensorflow-gpu可能需要更新您的代码。 ### 回答2： 升级TensorFlow-GPU可以通过以下步骤完成： 1. 确认当前安装的TensorFlow-GPU版本。可以在Python环境中运行以下代码来查看版本号： ``` import tensorflow as tf print(tf.__version__) ``` 这将输出当前安装的TensorFlow-GPU版本号。 2. 检查是否有可用的新版本。到TensorFlow官方网站或GitHub页面上查找是否有新的稳定版本发布。 3. 更新pip工具。在命令行窗口中运行以下命令： ``` pip install --upgrade pip ``` 这将更新pip到最新版本。 4. 更新TensorFlow-GPU。在命令行窗口中运行以下命令来更新TensorFlow-GPU： ``` pip install --upgrade tensorflow-gpu ``` 这将下载并安装最新的TensorFlow-GPU版本。 5. 验证更新是否成功。再次运行代码来检查更新后的版本号是否正确： ``` import tensorflow as tf print(tf.__version__) ``` 如果更新成功，输出的版本号应该与最新版本一致。 请注意，在更新过程中可能会出现一些依赖库的冲突或其他问题。如果遇到任何错误或异常，可以尝试在互联网上搜索相关错误信息或从TensorFlow社区寻求帮助。在更新之前，建议备份重要的项目和数据，以防止意外情况发生。 ### 回答3： 要升级tensorflow-gpu，首先需要确定您当前安装的是哪个版本的tensorflow-gpu。打开终端或命令提示符，运行以下命令： ``` pip show tensorflow-gpu ``` 这将显示当前安装的tensorflow-gpu版本信息。 如果您想升级到最新版本，可以运行以下命令来更新tensorflow-gpu： ``` pip install --upgrade tensorflow-gpu ``` 这会自动下载并安装最新版本的tensorflow-gpu。 如果您想指定要安装的特定版本，则可以运行以下命令： ``` pip install tensorflow-gpu==<desired_version> ``` 将`<desired_version>`替换为您想要安装的特定版本号。 在升级过程中可能会遇到一些依赖项或环境相关的问题。在这种情况下，您可能需要在更新之前解决这些问题。可以根据错误消息采取相应的操作。例如，您可能需要升级pip工具： ``` pip install --upgrade pip ``` 或者，您可能需要升级或安装一些其他依赖项。根据错误消息进行操作，并根据需要更新所有相关的依赖项。 升级完成后，可以再次运行`pip show tensorflow-gpu`命令来验证tensorflow-gpu的版本是否已更新为所期望的版本。 请注意，升级tensorflow-gpu可能需要较长时间，具体取决于您的网络连接和计算机的性能。确保您的网络连接稳定，并且您的计算机有足够的存储空间和计算资源来完成升级过程。 希望这些步骤对你有帮助！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值