技术干货| 详解AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军算法——HEBO算法

最新推荐文章于 2024-08-28 09:55:24 发布

昇思MindSpore

最新推荐文章于 2024-08-28 09:55:24 发布

阅读量1.2k

点赞数 2

分类专栏：技术博客文章标签：深度学习神经网络

本文链接：https://blog.csdn.net/Kenji_Shinji/article/details/125757232

版权

技术博客专栏收录该内容

414 篇文章 56 订阅

订阅专栏

异方差演化贝叶斯优化（Heteroscedastic evolutionary bayesian optimisation, HEBO）算法是华为诺亚实验室提出的优化算法框架。该算法击败NVIDIA，IBM等赢得了AI国际顶会NeurIPS 2020的黑盒优化竞赛冠军（https://bbochallenge.com/leaderboard）。该算法提出了对代理模型和最大化获取函数的非常规修改，并显示了这种组合优于Bayesmark包提供的所有基线。

黑盒优化算法

黑盒优化问题中的目标函数的表达式未知，只能根据离散的自变量取值得到对应的目标函数值来更新取值。除了AutoML和超参数优化以外，黑盒优化在分子设计、材料科学、电厂调试、数据中心冷却、芯片设计等问题上也有着大量应用。

一般黑盒优化算法需要经过特定步骤实现优化迭代过程，如下图所示：

黑盒优化最关键的问题

在研究过程中，研究者发现黑盒优化中最关键的两个问题是：

在步骤1拟合代理模型阶段，通常会用高斯模型来作为代理模型，首先获得输入数据集，假设一个高斯模型为代理模型，用数据去拟合这个代理模型，如下图所示：

但是输入的数据通常是具有噪声的，不符合高斯分布。

在步骤2最大化采集函数阶段，贝叶斯优化中通用的采集函数有EI（Expected Improvement）、PI（Probability of improvement）、UCB（Upper Confidence Bound），采集函数如下图所示：

他们都能帮助下一步在黑盒函数中评估哪些点，但是目前还不清楚在不同任务时哪个最有效，那如何根据不同的任务选择采集函数。

HEBO解决优化的关键问题

为了解决问题一，HEBO在采用贝叶斯优化中常用的高斯过程模型（Gaussian process, GP）作为代理模型的同时，还解决非平稳目标问题，引入输入扭曲以及power变换。

对每个输入使用Kumaraswamy分布的累积分布函数，公式和效果图如下所示下图所示：

对输出的变量使用power变换，使得输出的数据更好地近似于高斯分布，公式和效果图如下图所示：

为了解决问题二，研究者提出了MACE（Multi-objective ACquisition function Ensemble），将贝叶斯优化中通用的EI、PI、UCB采集函数进行聚合，在这三种采集函数的帕累托前沿上进行采样，一方面避免单一采集函数的通用性问题，另一方面支持并行探索。如下图所示：