超参数搜索——初始学习率搜索的学习笔记

1 概述

由于南溪只有一块2080Ti，所以暂时不会考虑用强化学习的方法来做~
南溪目前想要学习的超参数搜索算法有：

1. 网格搜索
2. 随机搜索
3. 贝叶斯搜索
4. 粒子群算法
5. 进化算法
6. 遗传算法
   （7. 强化学习）

2 网格搜索——Grid Search

网格搜索是我们需要尝试的第一种超参数搜索算法~
算法的思路是这样的，
初始设置：搜索空间$[10^{-6},1]$；

1. 设定初始的搜索种子，（来自原始论文或者默认值）；
2. 计算种子的自然指数；
3. 将原始的搜索空间计算对应的自然指数的值域range；
4. 取向上和向下方向的指数值域的最小值；
5. 从向上方向开始搜索；
6. 如果遇到loss上升或者NaN的情况，则需要对搜索空间进行rerange；

参数说明：
搜索时间（暂定）：24h
默认初始值：0.00125（来自PaddleDetection-FAQ(常见问题)）