本文介绍了在深度学习中为超参数选择合适范围的重要性，特别是使用对数标尺进行随机搜索。通过示例解释了为何在某些情况下，如学习速率和指数加权平均的β值，使用线性标尺会浪费资源，而对数标尺能更有效地分配搜索资源。文章提供了Python代码片段来展示如何在对数轴上随机取样，并强调了在β接近1时取值的敏感性问题。
为超参数选择合适的范围（Using an appropriate scale to pick hyperparameters）
在上一个笔记中，你已经看到了在超参数范围中，随机取值可以提升你的搜索效率。
但随机取值并不是在有效范围内的随机均匀取值，而是选择合适的标尺，用于探究这些超参数，这很重要。在这个笔记中，会教你怎么做。
假设你要选取隐藏单元的数量n^([l])，假设你选取的取值范围是从50到100中某点，
这种情况下，看到这条从50-100的数轴，你可以随机在其取点，这是一个搜索特定超参数的很直观的方式。
或者，如果你要选取神经网络的层数，我们称之为字母L，你也许会选择层数为2到4中的某个值，接着顺着2，3，4随机均匀取样才比较合理，你还可以应用网格搜索，你会觉得2，3，4，这三个数值是合理的，这是在几个在你考虑范围内随机均匀取值的例子，这些取值还蛮合理的，但对某些超参数而言不适用。
看看这个例子，假设你在搜索超参数a（学习速率），假设你怀疑其值最小是0.0001或最大是1。如果你画一条从0.0001到1的数轴，沿其随机均匀取值，那90%的数值将会落在0.1到1之间&
最低0.47元/天 解锁文章
扫一扫
712
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
