os.listdir以及keras如何使用GPU的两个坑

最新推荐文章于 2023-04-04 16:57:58 发布
最新推荐文章于 2023-04-04 16:57:58 发布
阅读量923 收藏 1
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Mr_wuliboy/article/details/89236292
版权

这两天遇到两个坑，稍微记录一下：

首先是os.listdir这个函数

切记，当文件夹内的文件名字为数字的时候，os.listdir()这个函数，并不是按着从小到大的顺序读取文件，而是类似于先读1.txt，10.txt....这样跳着读的，所以处理后的数据跟label对不上！！！

第二个是keras使用GPU的一个坑，最近用keras跑ResNet，发现总会报一个错，InvalidArgumentError: Tensor input_1:0, specified in either feed_devices or，原因在于K.tensorflow_backend.set_session(session)这句，import keras.backend as K，并将原来的改为K.set_session(session)即可

Mr_wuliboy
关注
专栏目录
使用GPU 训练Tensorflow/Keras 的CNN模型
出门搔白首，若负平生志
06-03 2万+
关键词：Kaggle 猫狗大赛，MX510 GPU， 联想潮7000， Win10， NVIDA显卡之前写了一个猫狗识别的CNN模型，利用笔记本进行训练，每次都需要好久，基本每个epoch要5分钟左右，来来回回改改参数，每次都要等漫长的时间。于是在找怎么利用GPU进行训练。1. 电脑的显卡是NVIDA MX510， 可以支持CUDA，要使用tensorflow-gpu版本，需要安装CUDA9.0，...
深度学习平台demo(基础知识）- Keras相关知识点整理(tensorflow2.4)
jiugeshao的专栏
03-18 2453
具体的一些知识点还是从官方文档获取, 博主只列举几个常用的（曾经项目中用的一些功能）。 应用 Applications - Keras 中文文档https://keras.io/zh/applications/Overfit and underfit | TensorFlow Corehttps://tensorflow.google.cn/tutorials/keras/overfit_and_underfit?hl=zh-cn 1.plot_model函数可以可视化出所设计出的模型结构 2....
Keras怎么将模型用GPU跑
昔年 ～ 不忆的博客
02-24 7628
总之，使用GPU来训练和预测Keras模型可以提高性能并缩短训练时间。在使用GPU时，需要确保环境正确配置，并正确设置Keras的后端引擎和模型参数。使用GPU来运行Keras模型可以加速模型的训练和预测，提高性能。在Keras中，可以通过配置运行环境来使用GPU来训练和预测模型。这将启用Keras的TensorFlow后端引擎，并将模型放在第一个GPU设备上。这将创建一个在第一个GPU设备上运行的Keras模型。4.在模型训练和预测时启用GPU支持。这将使用GPU来并行处理数据并加速训练。
keras环境如何使用GPU
studyvcmfc的专栏
10-31 3992
如果你确保tf-gpu环境搭建好的情况下，直接用pip install keras即可 注意其中的反例经验 不是吧，天坑？笔者是在反向写？我其实本来先装好的tf-gpu,然后用pip install keras也是可以的，且keras的backend是tensorflow，想确认一下自己安装的keras是否是用的gpu加速，结果看到笔者这篇博客，用笔者所谓的推荐的安装方式conda install keras-gpu,结果给我自动安装了很多东西，至于是什么我就不一一叙述了，且安装后Import ke
Keras使用GPU训练
qq_41982466的博客
06-22 9711
TensorFlow、Keras与GPU之间的版本对应 版本问题—keras和tensorflow的版本对应关系 tensorflow各个版本与cuda版本的对应关系~最新 环境部署中cuda对应的tensorflow-gpu、keras版本、pytorch的对应版本 使用GPU训练Keras模型 Keras——检查GPU是否可用 如何使用GPU训练keras模型 ...
脚本里将GPU设置为os.environ[‘CUDA_VISIBLE_DEVICES‘]后为何不起作用？
尚拙的博客
04-04 1499
第二个原因很可能就是你的batch size设置过大，这是很纯粹的原因，改一下batch size值就行了。这行代码必须在所有调用gpu的代码之前进行设置，特别是import torch必须要在指定gpu之后；最好的方法就是在你的脚本文件开头就写上调用代码。而且你本来就是因为显卡0已经占用着了，所以想用其它显卡启动训练，可偏偏还总是报GPU0显存不够的错误。很多时候我们明明在脚本里设置了。
os.environ[‘CUDA_VISIBLE_DEVICES‘]指定GPU后，还是用的“0“卡
创作高质量博文，分享知识，共同进步！
03-12 5987
我们经常需要指定特定的GPU设备来进行计算。然而，有时尽管已经设置了`CUDA_VISIBLE_DEVICES`环境变量，程序仍然会默认使用GPU设备“0”。本文将深入探讨这个问题，并提供相应的解决方案。
keras中model.evaluate()函数使用从flow_from_directory中生成的测试集一直循环问题
m0_64748541的博客
04-14 6839
model.evaluate()调用，测试集上检验模型的ACC和Loss
【keras】一台设备上同时使用多张显卡训练同一个网络模型
Houchaoqun_XMU的博客
03-02 8331
Reference：【简述-zzw】Keras同时用多张显卡训练网络【知乎】如何让keras训练深度网络时使用两张显卡？以 tensorflow 为后端，有两种方法可以在多张GPU上运行一个模型：数据并行和设备并行，参考keras中文文档。数据并行：数据并行将目标模型在多个设备上各复制一份，并使用每个设备上的复制品处理整个数据集的不同部分数据。Keras在keras.utils.multi_gpu...
基于keras与tensorflow手工实现ResNet50网络
12-03 2365
在文章 基于tensorflow的ResNet50V2网络识别动物，我们使用了keras已经提供的神经网络，完成了图像分类的。这个时候，小明同学就问了，那么我怎么自己去写一个神经网络来进行训练呢？ 本文就基于tensorflow，自己定一个神经网络。 从结构上看，与我们之前的的区别在于，输入的格式变成(3,224,224) ResNet50有两个基本的块，分别名为Conv Block和Identity Block 模型训练(resnet50_model_train.py) 将 基于tensorflow的Re
keras实现多GPU或指定GPU的使用介绍
12-17
1. keras新版本中加入多GPU并行使用的函数 下面程序段即可实现一个或多个GPU加速： 注意：使用多GPU加速时，Keras版本必须是Keras2.0.9以上版本 from keras.utils.training_utils import multi_gpu_model #导入keras多GPU函数 import VGG19 #导入已经写好的函数模型，例如VGG19 if G <= 1: print("[INFO] training with 1 GPU...") model = VGG19（） # otherwise, we are compiling using m
Mask-RCNN配合Flask使用的时候出现错误，已解决！！！
qq_43381010的博客
02-29 2796
MASK-RCNN用keras训练好模型，再在Flask初始化加载模型，这个过程没有问题，但是在requests post请求调用到模型执行model.predict()的时候就报错： [2020-02-29 15:57:02,308] ERROR in app: Exception on /predict [POST] Traceback (most recent call last): F...
tensorflow/keras使用GPU进行训练
热门推荐
麦田里的守望者
01-07 1万+
原文 1 需要的环境配置 Anaconda环境，Anaconda安装教程 CUDA，CUDA下载，这里需要注意CUDA、cuDNN、tensorflow的对应版本，对应版本查询 cuDNN，cuDNN下载，这里需要注册 tensorflow-gpu keras 2 CUDA安装与配置 进入CUDA下载页面选择对应的CUDA版本： 选择一个需要下载的版本，然后选择系统以及安装方式进行安装。 2.1 这里以本地安装（local）为例： 你可以选择精简安装和自定义安装: 精简安装：安装默认需要的包，这里
python 读取目录下多个文件方式对比
yisun123456的博客
09-16 432
1.速度最快 def get_sample(file_dir): all_file_list = os.listdir(file_dir) data_frame_list = [] for single_file in all_file_list: cur_path = os.path.join(file_dir, single_file) if "_SUCCESS" in cur_path or "_COPYING_" in cur_path:
Keras开发环境安装方法新手教程（GPU版）
Albert的博客
02-26 9918
本文主要介绍的是tensorflow-gpu版本的环境安装，所以需要读者有一块还不错（显存大于2G）的英伟达独立显卡，本文的安装步骤均已在如下环境中（windows11、i7-8700、gtx1060）测试通过。打开系统环境变量配置，增加一个系统变量，名称为CONDA_HOME，值为你电脑上Anaconda的安装路径。打开终端输入python，引入keras的models和layers库，如不报错，则表示安装成功。打开安装程序，不用修改安装位置，点击OK，等待进度条结束。修改安装目录，最好不要放在C盘。
os模块指定gpu无效
weixin_43840139的博客
02-08 3194
使用Pytorch训练神经网络的时候，默认都是使用0卡进行训练。如果当0卡有人用了，那么我们要指定其他gpu。 指定gpu我经常是使用下面两种方法： 1.在终端指定： CUDA_VISIBLE_DEVICES=1 python train.py 2.在代码里指定（这种方法也方便代码调试）： import os os.environ["CUDA_VISIBLE_DEVICES"] = "1" 但是有时候会出现指定了某个gpu但却无法生效的情况，需要检查一下下面两种情况。 1.import os是否放在了i
python怎么读文件名-Python获取指定文件夹下的文件名
weixin_37988176的博客
11-01 3783
本文采用os.walk()和os.listdir()两种方法，获取指定文件夹下的文件名。一、os.walk()模块os中的walk()函数可以遍历文件夹下所有的文件。os.walk(top, topdown=Ture, onerror=None, followlinks=False)该函数可以得到一个三元tupple(dirpath, dirnames, filenames).参数含义：dirpa...
python学习日记24-keras3报错PruneForTargets: Some target nodes not found: group_deps
blue_xinran的博客
12-06 1850
对于sequential类型的model,在model.fit时报错 PruneForTargets: Some target nodes not found: group_deps 找不到代码错误。 重新启动spyder后，可以正常运行。怀疑是keras的不稳定引起。 ...
如何在多张GPU卡上使用Keras？
岁月如歌
09-25 362
以下内容来自： https://keras-cn.readthedocs.io/en/latest/for_beginners/FAQ/#gpukeras 我们建议有多张GPU卡可用时，使用TnesorFlow后端。 有两种方法可以在多张GPU上运行一个模型：数据并行/设备并行 大多数情况下，你需要的很可能是“数据并行” 数据并行 数据并行将目标模型在多个设备上各复制一份，并使用每个设备上的复...
os.listdir的使用
最新发布
05-28
os.listdir() 是 Python 中的一个内置函数，用于返回指定目录下的所有文件和子目录的列表，不包括 . 和 .. 。它的基本语法如下： ``` os.listdir(path) ``` 其中 path 参数是要列出的目录路径，如果没有传入 path 参数，则默认返回当前工作目录的内容。 例如，要列出当前目录下的所有文件和子目录，可以使用以下代码： ``` import os files = os.listdir('.') print(files) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值