超参数调参:扔掉网格搜索,拥抱随机搜索
网格搜索(Grid Search )在经典机器学习中十分普遍。但它在寻找 DNN 的最优超参数方面一点也不高效。这主要是由于 DNN 尝试不同超参数组合所耗费的时间。随着超参数不断增长,网格搜索需要的计算性能会指数级增长。
有两种解决办法:
- 取决于你之前的经验,你可以人工对部分常见超参数调参,比如学习率、隐层数目。
- 采用随机搜索(random search),或者随机采样代替网格搜索,来选择最优超参数。
超参数组合通常在期望范围之内、从均匀分布中被选择出来。加入之前获得的知识来进一步缩小搜寻空间,也是有可能的(比如,学习率不应该太大也不应该太小)。大家发现,随机搜索比网格搜索高效地多。