概述
机器学习领域一般有两类参数,一类是模型内部参数,依靠训练数据来对模型参数进行调参,还有一类则是模型外部的设置参数,需要人工配置,这类参数被称为“超参数”。不同的超参数会对模型效果有不小的影响,因此超参在训练任务中的重要性较高。传统的方式都需要人工去调试和配置,这种方式消耗时间和精力。MindInsight调参功能可以用于搜索超参,基于用户给的调参配置信息,可以自动搜索参数并且执行模型训练。
MindInsight提供的mindoptimizer调参命令可以根据用户配置,从训练日志中提取以往训练记录,再对以往训练记录进行分析,推荐超参,最后自动执行训练脚本。用户在使用时需要按照yaml格式来配置超参的范围等信息,再参考本教程替换训练脚本中的超参,旨在将自动推荐的超参同步到训练脚本里面。当前仅支持高斯过程调参方法,其他方法敬请期待。
安装
此工具为MindInsight的子模块,安装MindInsight后,即可使用MindInsight调参命令,
MindInsight提供调参命令,命令行(Command-line interface, CLI)的使用方式
代码如下:
usage: mindoptimizer [-h] [--version] [--config CONFIG]
[--iter ITER]
optional arguments:
-h, --help Shows the help message and exits.
--version Shows the program versi