57.超参数概念-2

57.1 批样本数量，动量优化器的动量参数β

• 批样本数量，动量优化器（Gradient Descent with Momentum）的动量参数*β
• 批样本决定了数量梯度下降的方向。
• 过小的批数量，极端情况下，例如batch size为1，即每个样本都去修正一次梯度方向，样本之间的差异越大越难以收敛。
  • 若网络中存在批归一化（batchnorm），batch size过小则更难以收敛，甚至垮掉。
  • 这是因为数据样本越少，统计量越不具有代表性，噪声也相应的增加。
• 而过大的batch size，会使得梯度方向基本稳定，容易陷入局部最优解，降低精度。
  • 一般参考范围会取在[1:1024]之间，当然这个不是绝对的，需要结合具体场景和样本情况；
• 动量衰减参数β是计算梯度的指数加权平均数，并利用该值来更新参数，设置为 0.9 是一个常见且效果不错的选择

57.2 Adam优化器的超参数、权重衰减系数、丢弃法比率和网络参数

• Adam优化器的超参数、权重衰减系数、丢弃法比率（dropout）和网络参数
  • 这些参数重要性放在最后并不等价于这些参数不重要
  • 而是表示这些参数在大部分实践中不建议过多尝试，例如Adam优化器中的β1，β2，ϵ，常设为 0.9、0.999、10−8就会有不错的表现
• 权重