IEEE TETCI | GPBT: 基于种群的强化学习超参优化的学习

一、 超参数优化

超参数优化是在机器学习和深度学习中非常重要的一个环节。
超参数是在模型训练之前就需要设定的参数，它们不能通过训练过程自动学习得到，例如学习率、层数、节点数、正则化参数等。
常见的超参数优化方法包括手动搜索、随机搜索、网格搜索、基于梯度的优化方法（如贝叶斯优化）等。
手动搜索依赖于经验和直觉，效率较低但在简单情况下可能有效。随机搜索和网格搜索则是较为简单直接的方法，通过尝试不同的超参数组合来找到较优的结果。贝叶斯优化则是一种更智能的方法，它利用之前的评估结果来构建概率模型，以更有效地选择下一组超参数进行尝试。
超参数优化的目标是找到一组能够使模型在验证集或测试集上性能最佳的超参数组合，从而提高模型的泛化能力和预测准确性。

二、算法设计

从演化计算的角度来看，GPBT（基于种群的双智能体强化学习超参优化框架）与稳态EC有一定的相似性。每次迭代仅引入一个新智能体的特点，使其系统具备良好的稳定性。
在GPBT中，双智能体学习机制（HParams Learning）是至关重要的设计。它能让新引入的智能体立即加入配对池，从而使算法具备快速适应环境的能力。当高性能的智能体进行配对时，确实有更高的可能性产生同等或更优秀能力的后代，但这并不意味着精英配对就一定能产生高性能后代。
具体来说，这种双智能体学习机制可以根据不同的任务场景进行定制。通过定制该机制，GPBT可以更好地适应各种复杂的任务环境，以期望找到更优的超参数组合，提高模型的性能和泛化能力。
与PBT（基于种群的训练）的直接替换方式不同，GPBT采用了双智能体学习机制，两个智能体通过相互学习和交互来优化超参数。这种方式能够在一定程度上避免直接替换可能带来的不稳定性，同时利用智能体之间的协作和竞争来探索更优的超参数空间。