本文探讨了神经网络模型调优的方法，包括参数初始化、超参数设置和模型理解。介绍了如何从过拟合到优化或保持性能的演变。训练阶段分为欠拟合、刚刚好和过拟合。重点强调快速试错，合理设计LOSS，关注loss而非准确率，以及学习率的调整。模型理解技巧涉及激活层和权重矩阵的可视化，以及感受野的大小。参数初始化推荐使用Xavier和BN。最后，提供了一系列通用技巧，如ReLU激活函数、Dropout、Adam优化器等，并给出了预处理、数据洗牌和多尺度输入的建议。
本文主要讲解一些参数初始化技巧和超参数的设置技巧，模型的理解和设计技巧，如何去指导我们对模型进行调优设计，如何从高（层数深）胖（卷积核庞大）的模型到高瘦或者矮（层数浅）瘦（卷积核较少）的模型去演变，同时性能得到优化或者保持！
训练的过程和阶段可以分为3个阶段：
欠拟合：模型没有很好地捕捉到数据特征（训练集和验证集的loss都大于0.3）。
刚刚好：模型已经完成了我们的任务，满足要求（训练集和验证集上的loss都小于0.01）。
过拟合：模型把数据学习的太彻底，以至于把噪声数据的特征也学习到了（训练集上loss小于0.01，验证集上loss大于0.3）。
遵守的基本原则:快速试错
基本流程：
1 小规模数据集和大模型
最低0.47元/天 解锁文章
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
