机器学习超参调整经验

• 训练误差应该稳步减小，刚开始是急剧减小，最终应随着训练收敛达到平稳状态。
• 如果训练尚未收敛，尝试运行更长的时间。
• 如果训练误差减小速度过慢，则提高学习速率也许有助于加快其减小速度。
  • 但有时如果学习速率过高，训练误差的减小速度反而会变慢。
• 如果训练误差变化很大，尝试降低学习速率。
  • 较低的学习速率和较大的步数/较大的批量大小通常是不错的组合。

• 批量大小过小也会导致不稳定情况。不妨先尝试 100 或 1000 等较大的值，然后逐渐减小值的大小，直到出现性能降低的情况。

参考：点击打开链接