黑盒优化技术评测基准RABBO介绍

引言

在面对一些极其复杂的、目标函数不可解析的优化问题时，我们经常如坠入茫茫黑夜、不知道路在何方，黑盒优化技术正是冲破这茫茫黑夜，将我们带向最优解的一项技术。

作为优化领域的一个分支，黑盒优化所针对的问题往往不具备明显的可利用的数学结构，例如可导、线性、凸性等，甚至目标函数不可解析，比如一个复杂系统的性能、一个算法的最终表现、一个决策的优劣等。黑盒优化问题，泛指目标函数难以从数学上解析表达，缺少可直接利用的梯度信息，仅可利用目标函数输入和对应输出函数值进行最优解搜索的优化问题。简单来讲，黑盒优化架构可以用图1的架构图来表示，我们假设我们要求解的问题不好描述，就把这个问题做成一个仿真系统，这个系统可以根据输入的变量值（“候选解”）来给出对应的评价（“观测值”)，然后黑盒优化算法，就是接上这个仿真系统，通过不断地去提供候选解和得到观测值，来搜索可能的最优表现的候选解。

图1: 黑盒优化求解示意图

众多行业复杂场景中(例如供应链、交通、制造、能源、云计算等)，黑盒优化都是实现系统智能决策的关键技术，近年来越来越受国内外大厂的重视[1]，然而目前业界还没有专门针对黑盒优化技术开展的评测基准，在此背景下阿里巴巴达摩院决策智能团队联合阿里云天池联合推出了RABBO（Real-Aplication Black-Box Optimization benchmark）挑战榜。RABBO的推出为领域内研发团队提供一个“研发工具”和“竞技平台”，目标是打造国内外最具活力的的黑盒优化Benchmark榜单：

RABBO介绍

RABBO全名是Real-Aplication Black-Box Optimization benchmark，是由达摩院决策智能团队推出了业界首个黑盒优化技术benchmark，RABBO为研究人员提供了针对黑盒优化问题的数学建模和优化求解的思路，通过提供黑盒优化接口规范代码、实际应用背景的测试问题和效果评测的方案，帮助领域研发人员快速学习和研发优化算法。

RABBO一期评测基准包括了4大类数据集任务，后期将会持续拓展新的问题场景：

图2: RABBO四大类数据集任务

金属冶炼配比优化数据集

问题背景： 传统制造业中存在大量原料配比优化的问题场景，我们需要通过优化生产材料的配比使产品达到质量要求的同时控制生产过程中能源消耗等成本。该类配比优化问题往往内在机理、生产流程复杂，通过进行经验性的配比实验搜索最优方案难度较大，代价级高。在具备问题模型仿真器的条件下，使用黑盒优化工具进行求解可以极大提高优化效率，降低优化成本。

在冶炼行业中，转炉炼钢以铁水、废钢、铁合金为主要原料，不借助外加能源，靠铁液本身的物理热和铁液组分间化学反应产生热量而在转炉中完成炼钢过程[2]。对于不同钢产品的类型（如低碳钢、高碳钢、低合金钢等），钢水中各元素含量的要求有所差异。通常要求铁水中含硫量较低，含硅量较高以及具有较高用于优化造渣所需的锰量。 在转炉炼钢工艺中，有一个转炉配合金的环节：即往钢水中投入一定量的不同合金，通过氧化合金化来调节钢水中的锰、硅、碳、硫、磷等元素的含量，使之满足下一工序（或成品钢种）的元素含量要求。在配加某种目标元素时往往有多种合金可选择，不同合金选择会对其他元素含量带来不同影响，对应的采购价格也不相同。理论上，存在多种合金配比组合可达到最终各元素含量要求，而使总成本最低的配比组合仅有一个。

图3. 炼钢合金配比问题示意图

问题建模：本题中的合金配比优化场景考虑锰硅、硅铁、金属锰、高碳锰铁、中碳锰铁5种合金，并试图回答这样一个问题：如何优化不同合金之间的配比，使得投入合金之后钢水中硅、锰元素的含量在特定目标范围之内，且投入的合金总成本最低？由于冶炼过程涉及元素间复杂化学过程，投入合金后的钢水成分还取决于环境温度和投入时机，并不能当作简单的直接混合来处理，在实际项目中，投入量和钢水成分之间的复杂关系通过仿真模型来进行预测。由于这些仿真模型并没有显式可用的数学结构，故该问题需要使用黑盒优化方法来进行建模求解。图4为基于仿真器的黑盒优化问题建模示意。

图4. 炼钢合金配比优化问题建模示意图

火星车路径规划数据集

问题背景：2021年5月22日10时40分，中国自主研发的第一辆火星车“祝融号”驶离了于一周前成功软着陆的天问一号火星探测器，开始了其在火星上的重要使命：在轨测试和巡视探测。截至2021年7月23日，“祝融号”火星车已在火星上工作了68个火星日，累计行驶585米，并先后传回“着陆点全景”、“地形地貌”、“中国印迹”和“着巡合影”等影像图[3]。路径规划的示意图如下：

图5. 行驶路线图示意

由于地外星体环境的特殊性与复杂性，火星车及同类地外探测车（如月球车）在完成勘探任务时需要具备环境感知、自主导航、路径规划等多方面技术能力。其中，路径规划试图解决这样一个问题：即根据当前的位置姿态、环境感知结果及系统所指定的目标点进行局部路径点的分解和局部路径规划[4]。首先，路径规划需要考虑对地表障碍物的有效规避。欠优的路径规划方案可能导致火星车与障碍物相撞发生侧翻，进而造成探测任务失败，付出惨重代价。此外，地外探测车在能源供给、存储方面的限制也给按规划路径行驶所产生的能耗提出了额外的要求。

问题建模：本题借鉴了[5]中月球车路径规划问题的设计，将火星车的路径规化问题进行了一定程度的简化和抽象，旨在通过确定一序列二维平面上的坐标，为火星勘探车制定一个避障行驶路线。给定一组二维坐标序列，本题通过BSpline拟合得到对应的轨迹路线，并计算运行轨迹的成本。若出现轨迹中点坐标与障碍物坐标重叠的情况，则给予一定惩罚。同时，本题要求坐标序列的第一个点与最后一个点分别尽量接近问题设置中的起始点和终点。问题使用奖励函数对一组坐标序列进行评估，该函数具有非光滑、不连续、梯度难以求取的特征，属于典型的黑盒函数，需使用黑盒算法进行求解。

风场微观选址数据集

问题背景：2020年下半年，中国政府先后提出了“二氧化碳排放力争2030年前达到峰值”，“力争2060年前实现碳中和”的“双碳”目标，并将其上升为国家战略[6]。在此背景下，优化能源结构、布局发展新能源已被公认为是实现“双碳”目标的主要驱动力和必然选择。风能作为新能源中的一种，具有安全性高、储量巨大，分布极广的优点。近年来，风力发电技术也得到了迅速的发展与推广。风机微观选址问题旨在通过优化每台风力发电机组在风电场的位置，最大限度利用风能，降低风机尾流效应带来的影响，最大化风场发电量。

风机尾流效应指一台风机获取风能的同时在其下游形成风速下降的尾流区。若尾流区内存有下游风机，则下游风机的输入风速（图4中U）将远低于上游风机的输入风速（图4中V）。实际中一台风机往往会受到上游多台风机对应尾流效应的叠加影响（如图6中所示，风机2受风机1的尾流影响，风机3受风机1和2的尾流影响）。显然，尾流效应会造成风电场内风速分布不均，影响风电场内每台风机运行状况，进一步影响风电场运行工况及输出（位于下游尾流区的风机发电量会受到显著削减）。研究表明，尾流效应可导致高达20%的风机功率损失[7]。

图6. 尾流效应示意图。D为上游风机直径,V代表上游风机的输入风速,U代表下游尾流区内的风速

图7. 海上风电场实际尾流效应示意图[8]

问题建模：一定时间段内风场的尾流效应由风场的风速、风向及风机组的几何排布所决定。单一风机的发电功率与尾流效应下风机输入风速之间的关系由非线性、非光滑函数进行刻画。基于上述因素，风场年发电量与风机位置坐标之间的函数关系无法使用数学解析表达式直接描述，为黑盒函数。因此，风机微观选址优化问题适合使用基于仿真器的黑盒优化算法求解。

本题采用基于Jensen's尾流模型的风场年发电量仿真器[9]。在输入一组风机的位置坐标（即一组变量值）后，仿真器可以基于一年的风速风向数据仿真输出风场年发电量值（即目标函数值）。该过程即被看作为一次采样。黑盒优化算法可通过不断地进行多次采样搜索得到使年发电量尽可能大的风机排布策略。基于风场仿真器的黑盒优化问题建模如下图8所示。

图8. 风场微观选址问题建模示意图

经典题目数据集

经典题目集是根据一些经典黑盒优化测试函数[10]构造的问题集，其中的问题被广泛用于黑盒优化算法的研发评测。

RABBO挑战榜

RABBO的推出为领域内研发团队提供一个“研发工具”和“竞技平台”，目标是帮助领域研发人员快速学习、研发和评估黑盒优化算法。目前RABBO已经在阿里云天池平台开放，欢迎大家学习挑战：

RABBO挑战榜地址：https://tianchi.aliyun.com/rabbo

Baseline（官方的demo baseline）：https://code.aliyun.com/mindopt001/RABBO

参考文献

[1] D. Golovin, B. Solnik, S. Moitra, G. Kochanski, J. Karro and D. Sculley, “Google Vizier: A Service for Black-Box Optimization”, SIGKDD2017, pp. 1487-1495.

[2] 钢是怎样炼成的——转炉炼钢. 新华网, 2018-06-22.

[3] 成功发射一周年 “祝融号”火星车行驶路线图及最新火星影像来了. 环球时报, 2021-7-21.

[4] 魏祥泉, 黄建明, 顾冬晴, 陈凤. 火星车自主导航与路径规划技术研究[J]. 深空探测学报，2016, Vol.3，No.3.

[5] Z. Wang, C. Gehring, P. Kohli, and S. Jegelka, "Batched large-scale Bayesian optimization in high-dimensional spaces". In International Conference on Artificial Intelligence and Statistics, pages 745–754, 2018.（开源项目地址: https://github.com/zi-w/Ensemble-Bayesian-Optimization .）

[6] 双碳目标提出的背景、挑战、机遇及实现路径. (https://www.sohu.com/a/471453544_120815451)

[7] 孙辉, 吴姝雯, 王超. 尾流效应对风电场功率输出的影响分析[J]. 华北电力大学学报自然科学版, 2015, 42(2):55-60.

[8] https://climatechangedispatch.com/new-data-casts-doubt-on-boris-johnsons-offshore-wind-scheme/

[9] Shell. ai Hackathon for Sustainable and Affordable Energy, "Windfarm Layout Optimisation Challenge".（开源项目地址: https://github.com/aximthered/Wind-Farm-Layout-Optimization .）

[10] Surjanovic, S. & Bingham, D. (2013). Virtual Library of Simulation Experiments: Test Functions and Datasets. Retrieved August 3, 2021, from http://www.sfu.ca/~ssurjano.