本文分享了深度学习调参的心得，包括实验效果校验、优化器与学习率选择、速度优化等方面。强调数据增强和多尺度训练的重要性，并推荐在验证阶段使用adam，后期使用sgd进行细调。此外，还介绍了损失函数优化、批量大小的影响以及混合精度训练等技术，以提升模型性能和训练速度。
文章来源 | 极链AI云（性价比最高的共享算力平台，助力你的技术成长～首次注册可获免费100小时GPU使用时长！官网地址：https://cloud.videojj.com/）
作者 | Chaser【极链AI云技术原创奖励计划】千元云币券获得者
原文地址 | 调参心得 （ 官网论坛）已获授权
实验效果校验心得
什么时候加augment，什么时候加multi-scale，学习率怎么设置？
数据增强
个人体会是，验证性阶段过了之后，当你开始跑ablation study时，一定要注意数据的合理性，不要瞎设计，导致时间利用低效，很多参数都白跑，后面又要重来。
首先是augment，分两种情况，先做几个小实验，看看提出方法在加和不加data Augmet的性能变化如何，然后选取比较好看的结果。比如我之前本着最后再加所有trick一把梭涨点的想法，前面的对比实验无论如何都不
最低0.47元/天 解锁文章
2878
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
