神经网络超参数优化：网格搜索完整实现指南

0. 前言

我们已经学习了如何使用随机搜索获得较好的超参数优化 (Hyperparameter Optimization, HPO) 结果，但它耗时过长，为了寻找快速且准确的自动 HPO，需要使用更高级的技术。一种简单有效的技术是网格搜索，特别适用于参数空间较小且相对离散的情况。在本节中，我们将介绍网格搜索的基本原理，并实现网格搜索自动超参数优化。

1. 网格搜索

网格搜索 (Grid Search) 的工作原理是将搜索区域按照网格模式划分，并系统地遍历网格中的每个单元。网格搜索在二维空间中易于进行可视化，但该技术对于任何维数的问题都是有效的。
下图展示了随机搜索和网格搜索在超参数空间中的比较，图中展示了一种可能的网格遍历模式，在每个单元格中评估学习率和中间层变量。网格搜索是一种有效的方法，可以以有条不紊且高效的方式评估一系列可能的组合。

2. 使用网格搜索自动超参数优化

在本节中，我们将修改随机搜索自动超参数优化，使用更复杂的网格搜索技术。虽然这种技术更强大