神经网络超参数优化：随机搜索完整实现指南

0. 前言

我们已经通过函数逼近问题学习了深度学习 ( Deep learning, DL) 模型手动超参数优化 (Hyperparameter Optimization, HPO) 的方法，并使用不同的超参数生成比较结果。我们已经知道了，手动超参数优化极其耗时。目前，有许多工具可以自动执行 HPO，我们可以使用这些工具与进化计算 (Evolutionary Computation, EC) 方法的基准比较，但是为了深入了解它们背后的原理，我们将详细介绍自动搜索过程。

1. 随机搜索

随机搜索超参数优化 (Hyperparameter Optimization, HPO) ，是从给定范围内的已知超参数集中随机取样值，然后评估有效性的过程。随机搜索的目标是最终找到最佳或所需的解决方案。这个过程类似于有人戴上眼罩扔飞镖，希望能命中靶心。戴眼罩的人可能不会在几次投掷中命中靶心，但是在多次投掷中，也可能会命中靶心。

2. 将随机搜索应用于超参数优化

在本节中࿰