14、CAVE：算法配置评估、可视化与分析

CAVE：算法配置评估、可视化与分析

1 算法配置数据处理基础

在算法配置过程中，配置器返回的运行历史数据是重要的分析依据。为了更好地利用这些数据，配置器可以接收实例特征作为可选输入，这些特征能对当前实例进行数值描述。研究表明，若有足够的训练数据，对新成本数据的预测会较为准确。并且，基于配置器运行历史数据训练的经验性能模型（EPM）可作为真实目标算法运行的良好替代。因此，在分析中，我们使用基于所有运行历史数据联合训练的 EPM，例如用于估算仅在部分实例上评估的配置的缺失成本数据。

工具 CAVE 会对这些数据进行全面分析，它采用了算法配置库 AClib 第二版定义的扩展输出格式，理论上可与任何配置器配合使用，目前已有与配置器 SMAC 结合的可用实现。

2 算法配置数据分析内容

2.1 性能分析

CAVE 的性能分析主要聚焦于最终选定配置和算法默认参数配置的性能对比。具体分析方式包括：
- 定性表格分析：提供所有实例的聚合性能值。
- 散点图：展示每个实例的默认性能与优化性能对比。
- 经验累积性能分布（eCDF）图：呈现实例集上的性能分布。
- 算法足迹图：直观展示算法在不同实例上的表现。

以 SAT 求解器 spear 为例，通过散点图和 eCDF 图可知，spear 的性能在许多实例上得到了提升，部分实例有显著加速。优化配置能在最多 20 秒内解决所有实例，而默认配置则出现了许多超时情况。eCDF 图还显示，优化配置解决了所有实例，而默认配置仅解决了 80%的实例。当 spear 的截止时间大于 0.8 秒时，优化配置的性能更佳。算法足迹图表明，选定配置在不同类型的实