粒子群优化在自动超参数优化中的应用实现指南

0. 前言

我们已经了解了超参数优化 (Hyperparameter Optimization, HPO) 问题，在本节中，将使用一些进化计算方法来提高 HPO 的速度和准确性。进化方法提供了优化各种问题搜索的优秀工具集，因此，能够使用进化计算来执行 HPO。

1. 使用粒子群优化自动超参数优化

在本节中，介绍在超参数优化 (Hyperparameter Optimization, HPO) 中使用进化计算 (Evolutionary Computation, EC) 的深度学习 ( Deep learning, DL) 方法，首先使用粒子群优化 (Particle Swarm Optimization, PSO) 进行 HPO。粒子群优化使用一群粒子来寻找最优解，可以使用 DEAP 简单实现，展示进化计算在解决 HPO 等问题时的强大能力。