神经网络搭建步骤:
1. 数据研究。
从简单到复杂,每一步我们都会对将要发生的事情做出具体的假设,然后通过实验验证这些假设,或者进行研究,直到我们发现一些问题。我们努力防止的是一次引入大量“未经验证”的复杂假设,这必然会引入错误/错误配置,这将需要花费很长时间才能找到(如果有的话)。
2. 网络调试
编写你的神经网络代码并训练一个,可以使用一个非常小的学习率和猜测,然后在每次迭代后评估完整的测试集。
神经网络流程:
1. 检查数据
数据分布,数据模式,数据平衡和bias,包括: 非常局部的特征是否足够?或者我们是否需要全局上下文的信息?有多少变化,它采取什么形式?什么变化是虚假的,是否可以被预处理掉?空间位置重要吗?还是我们想把它平均化?细节有多重要?我们能承受多大程度的减少图像采样?标签存在多少噪音?如果你的网络给了你一些与你在数据中看到的不一致的预测,那么就有问题了!!
2. 代码验证
写一些简单的代码来搜索/过滤/排序你能想到的任何东西(例如标签的类型、注释的大小、注释的数量等),并可视化它们的分布和任何轴上的异常值也是一个好主意。
3.建立一个完整的**“训练+评估”**框架
3.1. 固定随机种子
3.2 尽可能简单,确保禁用任何不必要的假设,务必关闭任何数据扩充的策略
3.3 验证损失@init。确保loss从正确的损失值开始
3.4 正确初始化最终层的权重
3.5 human基线。监控除损失以外的人类可解释和可检查的指标(例如准确性)。尽可能评估自己(人类)的准确性并与之进行比较
3.6 过拟合一个batch。使用少数几个样本(例如,仅两三个样本)对单个批次进行过拟合。同一个图中可视化标签和预测。
3.7 在net之前可视化,可视化数据的明确正确位置就在y_hat=model(x),可视化预测动态。
我喜欢采用的寻找一个好模型的方法有两个阶段:
- 首先获得一个足够大的模型,使其能够过拟合(即,关注训练损失),然后适当地调整它(放弃一些训练损失以改善验证损失)。
4 过拟合
选择模型,初始时选择论文或常用的模型。adam会更安全,一般设置3e-4, adam对超参数中的学习率更为宽容,虽然SGD由于adam,但是SGD的最佳学习区域要窄的多。 一次只复杂化一个,取得预期效果后再加入下一个。不要相信学习率默认衰减值,防止代码秘密将学习率降为0导致模型无法收敛。
5. 正则化
获取更多数据。数据扩充,预训练, 坚持监督学习,较小的输入维度,更小的模型size, 减少batch大小,加入drop,权重衰减,早停,根据验证损失停止训练,以便在模型即将过度拟合时捕捉模型。试试大一点的模型
6. 调模型
随机网格搜索, 超参数优化
集成。留着训练。
inference: