神经网络调参个人经验

神经网络搭建步骤：

1. 数据研究。

从简单到复杂，每一步我们都会对将要发生的事情做出具体的假设，然后通过实验验证这些假设，或者进行研究，直到我们发现一些问题。我们努力防止的是一次引入大量“未经验证”的复杂假设，这必然会引入错误/错误配置，这将需要花费很长时间才能找到（如果有的话）。

2. 网络调试

编写你的神经网络代码并训练一个，可以使用一个非常小的学习率和猜测，然后在每次迭代后评估完整的测试集。

神经网络流程：

1. 检查数据

数据分布，数据模式，数据平衡和bias，包括： 非常局部的特征是否足够？或者我们是否需要全局上下文的信息？有多少变化，它采取什么形式？什么变化是虚假的，是否可以被预处理掉？空间位置重要吗？还是我们想把它平均化？细节有多重要？我们能承受多大程度的减少图像采样？标签存在多少噪音？如果你的网络给了你一些与你在数据中看到的不一致的预测，那么就有问题了！！

2. 代码验证

写一些简单的代码来搜索/过滤/排序你能想到的任何东西（例如标签的类型、注释的大小、注释的数量等），并可视化它们的分布和任何轴上的异常值也是一个好主意。

3.建立一个完整的**“训练+评估”**框架

3.1. 固定随机种子

3.2 尽可能简单，确保禁用任何不必要的假设，务必关闭任何数据扩充的策略

3.3 验证损失@init。确保loss从正确的损失值开始

3.4 正确初始化最终层的权重

3.5 human基线。监控除损失以外的人类可解释和可检查的指标（例如准确性）。尽可能评估自己（人类）的准确性并与之进行比较

3.6 过拟合一个batch。使用少数几个样本（例如，仅两三个样本）对单个批次进行过拟合。同一个图中可视化标签和预测。

3.7 在net之前可视化，可视化数据的明确正确位置就在y_hat=model（x），可视化预测动态。

我喜欢采用的寻找一个好模型的方法有两个阶段：

• 首先获得一个足够大的模型，使其能够过拟合（即，关注训练损失），然后适当地调整它（放弃一些训练损失以改善验证损失）。

4 过拟合

选择模型，初始时选择论文或常用的模型。adam会更安全，一般设置3e-4, adam对超参数中的学习率更为宽容，虽然SGD由于adam，但是SGD的最佳学习区域要窄的多。 一次只复杂化一个，取得预期效果后再加入下一个。不要相信学习率默认衰减值，防止代码秘密将学习率降为0导致模型无法收敛。

5. 正则化

获取更多数据。数据扩充，预训练， 坚持监督学习，较小的输入维度，更小的模型size， 减少batch大小，加入drop，权重衰减，早停，根据验证损失停止训练，以便在模型即将过度拟合时捕捉模型。试试大一点的模型

6. 调模型

随机网格搜索， 超参数优化

集成。留着训练。

inference:

神经网络调参经验大汇总 - 知乎