解决NNI平台无法调用GPU,一直显示WAITING的问题

7 篇文章 0 订阅
5 篇文章 0 订阅

问题描述

CUDA环境配置正常,代码直接运行时可以正常调用GPU,但通过NNI进行调参时一旦使用GPU就会卡在WAITING的状态不动。

问题原因

NNI框架在默认的情况下只会使用完全空闲的GPU进行运算,一旦GPU中存在其它进程(即使有时候可能只是一些系统进程)就会一直WAITING直到进程结束。

解决办法

其实很简单,在config.yml中添加如下代码即可:

# 当trainingServicePlatform为local时添加如下语句
localConfig:
    useActiveGpu: true			# 该参数将允许NNI使用活动的GPU运行任务
    maxTrialNumPerGpu: 3		# 该参数指定在同一GPU上可同时进行的最大任务数量

# 当trainingServicePlatform为remote时添加如下语句
machineList:
    useActiveGpu: true			# 该参数将允许NNI使用活动的GPU运行任务
    maxTrialNumPerGpu: 3		# 该参数指定在同一GPU上可同时进行的最大任务数量
    # ...以下为你自己的其它的远程配置
    
  • 3
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值