李宏毅深度学习02——机器学习任务攻略

总体思路

Model bias（模型偏移）

Optimization Issue（优化问题）

怎么确认是Model Bias 还是 Optimization Issus

先用一个比较简单的模型或者说比较浅层的模型来算Loss，接着再用复杂的模型来算Loss，如果复杂的模型Loss反而更大，则证明是Optimization Issus，否则是Model Bias

overfitting（过拟合）

极端情况：模型完全符合训练数据

模型自由度过高

解决方法

1. 增加训练数据
2. 数据增强Data augmentation
3. 不要让模型有那么大的弹性
4. 使用较少的特征
5. early stopping（后面会讲）
6. Regulation（后面会讲）
7. Dropout（后面会讲）

增加训练数据以及数据增强

受限模型

但是如果模型限制太多，又会变成Model Bias的问题

随着模型越来越复杂，在训练数据上的Loss会越来越低，但是过犹不及，会在某个点上出现overfitting的情况，所以最理想的状态是选择那个点

N-fold Cross Validation