李宏毅老师给了课程实验的通关秘诀,如何判断深度学习目前遇到什么问题。
简要概述一下:
一、如果loss on training data很大
1、如果简单的网络能够有更低的loss,说明model bias大,应该make your model complex
2、如果简单的网络loss更高,说明是模型优化问题,optimization
二、如果loss on training data很小
1、loss on testing data也很小,恭喜你,顺利完成作业
2、如果loss on testing data很大,则可能是overfitting或者mismatch
①如果是overfitting可以more training data 或data augmentation或者make your model simpler
②如果是mismatch