李宏毅2021春机器学习笔记

step 1 ：检查training data

Models Bias

模型过于简单，无法找到最小值。可以加入更让多特征/更多神经元/深度学习，增加model弹性

Optimization issue

gradient descent 找不到能使loss最小的function

同样loss过大 如何判断：

对于上图，56层 network弹性更大，训练不好，所以不是model bias 而是 optimization issue
所以可以用更小的网络进行对比（不一定是深度学习方法 凸优化，一定会有最优解）
，即：

如何解决：

step2: training loss小，检查testing data

overfitting

极端情况：学了个字典 只会查训练集的东西

解决：1.增加训练资料
2.data augmentation【注意任务的理解】
3.减少模型弹性，减少神经元、共用参数
4.early stopping
5.regularization
…

训练过程：

dismatch

训练集测试集分布不同，要加强对数据集的理解