1. 选择合适的模型架构
模型的结构(层数和宽度)，参数配置，尽量用已经有效的模型
2. 选择优化器
针对具体的问题，从选择常用的优化器开始，进行比较
3. 选择BatchSize
1). Batch Size决定训练速度，但是不影响验证集性能
2). 通常选择最大可支持的Bacth Size
3). 增加Batch Size减少训练时间，但是资源消耗不一定变化
4). 任意Batch Size都可以得到相同的最终性能(当超参数调整好并训练步数足够)
深度学习调参指南
文章讨论了如何选择合适的深度学习模型架构，从现成的有效模型开始。其次，强调了优化器在解决问题中的作用，建议针对问题性质比较不同优化器。接着，提到了BatchSize对训练速度的影响，指出最大化支持的BatchSize可以减少训练时间，但资源消耗需考虑。最后，指出适当调整超参数和训练步数，任何BatchSize都能达到相同最终性能。
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
