Ray Tune Hyperparameter Optimization Framework

Ray Tune是一个可扩展的超参数优化框架，用于强化学习和深度学习。 从在单台计算机上运行一个实验到使用高效搜索算法在大型集群上运行，而无需更改代码。

本篇博客中所提及的函数。

 

一、简单开始

首先需要安装Ray，使用命令 pip install ray

简单示例：

import ray
import ray.tune as tune

ray.init()
tune.register_trainable("train_func", train_func)

all_trials = tune.run_experiments({
    "my_experiment": {
        "run": "train_func",
        "stop": {"mean_accuracy": 99},
        "config": {
            "lr": tune.grid_search([0.2, 0.4, 0.6]),
            "momentum": tune.grid_search([0.1, 0.2]),
        }
    }
})

对于想要调整的函数，添加两行修改（请注意，我们使用PyTorch作为示例，但Ray Tune适用于任何深度学习框架，PyTorch中文文档）

def train_func(config, reporter):  # add a reporter arg
     model = NeuralNet()
     optimizer = torch.optim.SGD(
         model.parameters(), lr=config["lr"], momentum=config["momentum"])
     dataset = ( ... )

     for idx, (data, target) in enumerate(dataset):
         # ...
         output = model(data)
         loss = F.MSELoss(output, target)
         loss.backward()
         optimizer.step()
         accuracy = eval_accuracy(...)
         reporter(timesteps_total=idx, mean_accuracy=accuracy) # report metrics

这个PyTorch脚本使用Ray Tune在train_func函数上运行一个小的网格搜索，在命令行上报