如何训练神经网络
1、先别着急写代码训练神经网络前,别管代码,先从预处理数据集开始。我们先花几个小时的时间,了解数据的分布并找出其中的规律。
Andrej有一次在整理数据时发现了重复的样本,还有一次发现了图像和标签中的错误。所以先看一眼数据能避免我们走很多弯路。
由于神经网络实际上是数据集的压缩版本,因此您将能够查看网络(错误)预测并了解它们的来源。如果你的网络给你的预测看起来与你在数据中看到的内容不一致,那么就会有所收获。
一旦从数据中发现规律,可以编写一些代码对他们进行搜索、过滤、排序。把数据可视化能帮助我们发现异常值,而异常值总能揭示数据的质量或预处理中的一些错误。
2、设置端到端的训练评估框架处理完数据集,接下来就能开始训练模型了吗?并不能!下一步是建立一个完整的训练+评估框架。在这个阶段,我们选择一个简单又不至于搞砸的模型,比如线性分类器、CNN,可视化损失。
获得准确度等衡量模型的标准,用模型进行预测。这个阶段的技巧有:·固定随机种子使用固定的随机种子,来保证运行代码两次都获得相同的结果,消除差异因素。·简单化在此阶段不要有任何幻想,不要扩增数据。
扩增数据后面会用到,但是在这里不要使用,现在引入只会导致错误。
·在评估中添加有效数字在绘制测试集损失时,对整个测试集进行评估,不要只绘制批次测试损失图像,然后用Tensorboard对它们进行平滑处理。·在初始阶段验证损失函数验证函数是否从正确的损失值开始。
例如,如果正确初始化最后一层,则应在softmax初始化时测量-log(1/n_classes)。·初始化正确初始化最后一层的权重。如果回归一些平均值为50的值,则将最终偏差初始化为50。