基于AutoML 方法——贝叶斯优化方法实现自动化设置分布式系统中超参数 Automatic Hyperparameter Tuning for Distributed Systems

作者：禅与计算机程序设计艺术

1.简介

高维超参数(Hyperparameters)设置对于优化模型训练、系统架构设计、机器学习管道配置等任务都非常重要。然而，在分布式系统中运行这些任务时，每个节点需要不同的超参数配置。自动化超参数调优(AutoML)方法应运而生，通过探索一系列可能的参数组合来找到最佳的超参数值，从而提升性能。现有的 AutoML 方法主要基于黑盒搜索的方法，比如网格搜索、随机搜索等。然而，这种方法缺乏全局视角和贝叶斯优化的特点，容易陷入局部最优解，难以取得理想的结果。为了解决这一问题，本文提出了一种新的 AutoML 方法——贝叶斯优化方法（Bayesian optimization）。

2. 相关工作

分布式系统中超参数设置是一个具有挑战性的问题。由于数据量和计算资源有限，优化过程需要依赖于很多因素，如算法选择、神经网络架构、超参数选择等。超参数设置的有效方法还有基于经验的元启发式方法、遗传算法等。但这些方法往往效率低下，只能得到局部最优解，难以找到全局最优解。因此，自动化超参数调优的方法呼之欲出。

有两种流行的自动超参数调优方法，即网格搜索法和随机搜索法。网格搜索法通过枚举所有可能的超参数配置并尝试优化目标函数，从而找到全局最优解。随机搜索法则是随机选择一个超参数配置并尝试优化目标函数，直到找到全局最优解。随机搜索法速