1. 检查loss on training data
2.如果loss大,检查bias(是不是model太过简单)
optimization issue:没有合适的方法(除了梯度下降法)
如果loss小,检查loss on testing data
3.如果大,考虑overfitting(解决方法:1.增加训练集,2.添加模型限制)
mismatch(training和testing data 有不一样的分布)
overfitting
Cross Validation
永远不要让测试集参与模型训练
question:担心Training Set和Validation Set划分不好