深度网络训练技巧

网络训练图示

李宏毅2021深度学习视频网址

步骤

1. 首先查看训练网络在训练集上的准确率
2. 如果网络在训练集上的loss比较大，存在model bias或者optimization的问题

• model bias问题：网络模型太简单，不能很好的拟合输入数据的分布函数
• optimization问题：网络具有拟合输入数据分布函数的能力，但是优化参数时没有收敛到最优值，使得模型的训练集上的错误率高
• 如何判断是model bias还是optimization的问题：首先增加网络复杂度，如果随着网络复杂度增加网络在训练集上的错误率降低，说明原始网络有model bais的问题。当网络复杂度增加到一定程度，会出现错误率提高的现象，原因有两个可能：overfitting和optimization
• 如何判断overfiting和optimization:需要同时查看模型在训练集和测试集上的准确率。单独比较20-layer和56-layer网络在测试集上的准确率，如果56-layer网络在测试集上准确率高于20-layer网络在测试集上的准确率，不能简单得出56-layer网络过拟合的结论，前提是两个网络模型在训练集上已经收敛到最优值。这时需要查看56-layer和20-layer网络在训练集上的准确率，如果56-layer网络在训练集上的识别准确率低于20-layer网络准确率，则存在optimization问题。
• 

3. 如果网络在训练集上的loss比较小，查看网络在测试集上的准确率，如果在测试集上的错误率较大，存在overfiting或者misatch的问题。