Cyanuestc的专栏

原创 机器学习超参调整经验

训练误差应该稳步减小，刚开始是急剧减小，最终应随着训练收敛达到平稳状态。如果训练尚未收敛，尝试运行更长的时间。如果训练误差减小速度过慢，则提高学习速率也许有助于加快其减小速度。但有时如果学习速率过高，训练误差的减小速度反而会变慢。如果训练误差变化很大，尝试降低学习速率。较低的学习速率和较大的步数/较大的批量大小通常是不错的组合。批量大小过小也会导致不稳定情况。不妨先尝试 100 或 1000 等较...