近期学习使用ray.tune进行网络调参,在GPU上进行网络训练,但在使用ray.tune调参时报错“RuntimeError: No CUDA GPUs are avaliable”,于是写了一个简单的代码进行测试,代码如下
import torch
from ray import tune
print(torch.cuda.is_available())
def objective(config):
print(torch.cuda.is_available())
device = 'cuda'
x = torch.Tensor([1, 2])
y = torch.Tensor([2, 3])
x.to(device)
y.to(device)
score = config["a"] * x.sum() + config["b"] * y.sum()
return {"score": float(score)}
search_space = {
"a": tune.grid_search([0.1, 1.0]),
"b": tune.choice([1]),
}
tuner = tune.Tuner(objective, param_space=search_space)
res = tuner.fit()
print(res.get_best_result(metric="score", mode="min"))
结果主程序中的torch.cuda.is_available()输出True,说明设备本身有可调用的GPU,但在调参函数API中torch.cuda.is_available()输出为False,无法调用GPU并报错“RuntimeError: No CUDA GPUs are avalable”。
最后参考官方文档进行了解决,原因在于使用ray.tune时默认在CPU上进行,如果要使用GPU需要通过tune.with_resources(trainable, resources_per_trial)的方式分配使用的GPU,否则将报错。其中resources_per_trial为给每个参数组合的实验(trial)分配的计算资源,以字典形式传递,如{"cpu":2, "gpu":1},默认为{"cpu":1}。
![](https://i-blog.csdnimg.cn/blog_migrate/904ad48584284d7dc84e4af1646e43cb.png)
![](https://i-blog.csdnimg.cn/blog_migrate/aaba4515190db6241df883cd1ef21f59.png)
因此将上述测试代码修改如下,从而解决了问题
tuner = tune.Tuner(tune.with_resources(objective, {"gpu": 1}), param_space=search_space)