keras踩坑记——gpu和cpu结果不同

最新推荐文章于 2021-06-06 12:54:06 发布
最新推荐文章于 2021-06-06 12:54:06 发布
阅读量1.2w 收藏 5
点赞数 2
分类专栏： keras
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/huowa9077/article/details/80236849
版权

问题描述: 训练了大概6个epoch 模型在cpu上的loss开始出现nan，在gpu上表现正常


经查找资料https://www.oschina.net/question/3683714_2266089 这位兄台和我遇到了同样的问题，然而他并没有解决


https://www.zhihu.com/question/62441748

这位兄台给出了一个解释，但是和我的模型问题应该不相同，因为我的RNN模型的换了激活函数（relu-->sigmoid）后表现正常，因此应该不是标签的问题


问题仍未解决，恳请各位大佬不吝赐教

sirius_black_
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Keras - GPU ID 和显存占用设定
长风破浪会有时，直挂云帆济沧海
05-07 6739
Keras - GPU ID 和显存占用设定 初步尝试 Keras (基于 Tensorflow 后端)深度框架时, 发现其对于 GPU 的使用比较神奇, 默认竟然是全部占满显存, 1080Ti 跑个小分类问题, 就一下子满了. 而且是服务器上的两张 1080Ti.服务器上的多张 GPU 都占满, 有点浪费性能.因此, 需要类似于 Caffe 等框架的可以设定 GPU ID 和显存自动按需分配.
GPU和CPU计算上的精度差异
说文科技，做有态度的研究。
02-25 7473
“事实太复杂了，除了近似，什么都不允许”。GPU精度导致的一次找bug过程。
ubuntu 16.04 使用keras框架 对比cpu和gpu训练神经网络的速度
lzy我就来随便逛逛的博客
03-26 2427
本机配置： cpu：i5-4200H gpu：gtx 950M 照例，先查看本机可以使用的设备 在spyder中输入： from tensorflow.python.client import device_lib print(device_lib.list_local_devices())　 也就是说，我可以选择调用cpu，也可以选择调用gpu。 先上测试代码： impo...
GPU训练loss不下降，CPU正常
luckyqiong
03-20 1716
数据并行机制相关
基于pytorch的代码在GPU和CPU上训练时，训练输出结果不同问题
toro12306的博客
06-06 7970
最近打算将代码放在GPU上跑，但是每次跑出来的结果都和CPU跑出来的结果不同，代码是完全一样的，为什么会出现这个问题呢？
浅谈keras的深度模型训练过程及结果记录方式
09-18
本文将深入探讨Keras中的深度模型训练过程以及如何有效地记录和展示训练结果。 首先，训练一个深度学习模型在Keras中主要通过`model.fit()`函数实现。在这个例子中，`X_train`是训练数据，`Y_train`是对应的标签，`...
Keras - GPU ID 和显存占用设定步骤
09-16
在使用Keras进行深度学习模型训练时，合理配置GPU ID和显存管理是提升效率、避免资源浪费的关键。本文将详细介绍如何在Keras中设定GPU ID以及如何控制GPU的显存占用。 首先，我们来讨论如何设定GPU ID。在多GPU环境...
keras实现多GPU或指定GPU的使用介绍
09-16
这里，如果`G`大于1，Keras会在所有可用的GPU上分配模型的副本，并在CPU上合并梯度更新，从而实现数据并行训练。 其次，指定使用特定GPU可以通过设置环境变量`CUDA_VISIBLE_DEVICES`来实现。在终端中，你可以通过`...
keras实现多gpu数据并行训练
06-23
一个keras多gpu数据并行的demo，可以修改batch_size或gpu的数量来测试。
keras 多gpu并行运行案例
09-16
例如，如果batch_size为64，使用2个GPU，那么数据会被分成两个32样本的子批次，分别在GPU上处理，最后将结果在CPU上合并。 **参数详解** - `model`: 这是一个Keras模型实例，可以先在CPU上构建以避免内存溢出（OOM...
keras用cpu加速_Keras在GPU上的训练性能比CPU慢
weixin_39849127的博客
01-13 762
我几天前才开始学习深度学习。我试图用一个由猫和狗的照片组成的数据集训练CNN。但问题是训练过程花费了太长的CPU时间，而且我可以看到我的CPU利用率在训练期间没有明显提高。而且训练过程非常缓慢。我以为是因为CPU的缘故，所以我继续安装CUDA和TensorFlow gpu，TensorFlow gpu似乎是作为显卡出现在控制台上的。Created TensorFlow device (/job:l...
keras有cpu和gpu版本的区别
qq_43578786的博客
04-08 3447
keras有cpu和gpu版本的区别 安装tensorflow-gpu版本后，用pip install keras，keras才会默认使用安好的tensorflow-gpu为自己的底层实现。 不要使用conda install keras，用conda安装会默认安装tensorflow的cpu版本，这样就得卸载重新安装了。 ...
Keras下GPU/CPU模式切换
热门推荐
Avalon
11-14 3万+
4.5 Switch to GPU model4.5.1 确保环境确保已经正确安装了keras, tensorflow/theano, cuda在MacOS下面安装CUDA请参考：mac osx/linux下如何将keras运行在GPU上use cuda with macosUbuntu下面安装CUDA请参考：配置深度学习环境的最后一步4.5.2 切换gpu来自官方的介绍How do I use k
keras和keras-gpu的区别
最新发布
05-01
Keras 和 Keras-GPU 都是深度学习框架 Keras 的不同版本。 Keras 是一个基于 Python 的深度学习框架，它能够运行在 CPU 和 GPU 上。Keras 通过提供高层抽象来降低深度学习的实现难度，使得开发者可以更加专注于模型的设计和调试。 Keras-GPU 是 Keras 的 GPU 版本。它利用了 GPU 的并行计算能力来加速深度学习的训练和推断过程。与 Keras 相比，Keras-GPU 可以大幅提高训练速度，降低训练时间。 需要注意的是，使用 Keras-GPU 需要安装 CUDA 和 cuDNN，这是因为 Keras-GPU 是基于 NVIDIA 的 CUDA 框架和 cuDNN 库实现的。如果没有安装 CUDA 和 cuDNN，Keras-GPU 将无法正常工作。 因此，如果你的计算机有 NVIDIA 的 GPU 并且已经安装了 CUDA 和 cuDNN，建议使用 Keras-GPU 来加速深度学习的训练和推断过程。否则，使用 Keras 也可以很好地完成深度学习任务。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值