（一）Ray:Tune整定模型超参数

ShiNianHouDeHouYan

于 2020-03-23 12:07:35 发布

阅读量1.3k

点赞数 1

分类专栏： ray 文章标签：强化学习深度学习 python

本文链接：https://blog.csdn.net/ShiNianHouDeHouYan/article/details/105045583

版权

本文介绍了Ray Tune模块，它是一个用于超参数调优的工具。通过构建trials并使用Scheduler如PBT或AsyncHyperBand进行调度，Ray Tune帮助优化模型训练。以mnist-pytorch模型为例，详细阐述了创建trials、选择Scheduler和运行试验的过程，以及如何分析数据以找到最佳超参数配置。

摘要由CSDN通过智能技术生成

Ray Tune 模块

Tune

Tune是一个超参数整定模块，他以’trials’来构建起每一次尝试。为’trials’利用Scheduler作为调度器。可以使用包括PBT,AsyncHyperBand在内的多种超参数整定方法。

如何使用？

根据上述所述，分为以下几步：

根据自己的需求构建一个trials，可理解为一个训练epoch，该trials需继承Tune.Trainable类
选择合适的Schedulers
调用ray.tune.run()，其中trials作为run的run_or_experiment 传入

例子：mnist-pytorch模型训练超参数整定

借助mnist-pytorch官方例子进行解释

1.构建一个trial

在本例中，一个trial具有以下几步

训练一轮
评估此轮模型效果
返回评估指标

class TrainMNIST(tune.Trainable):
    def _setup(self, config):
        # 类似于__init__函数，用于初始化相关配置
        # 1.读数据:self.data_loader = ... 
        # 2.构建模型 : self.model = ...
        # 3.优化器: self.optimizer = ...
        #... 具体源码见官方教程

    def _train(self):
        #训练模型
        train(
            self.model,