实践方法论
训练集上面没有学好的原因:
- 模型偏差
- 优化问题
到底是模型偏差,还是优化的问题?
通过比较不同的模型来判断
注意是否过拟合
过拟合
灵活性、自由度过大,因此产生各式各样奇怪的结果。
如何解决?
- 数据增强(data augmentation)
- 给模型一些限制,让模型不要有过大的灵活性
- 给模型比较少的参数
- 用比较少的特征
- 早停(early stopping)、正则化(regularization)和丢弃法(dropoutmethod)
交叉验证
k 折交叉验证就是先把训练集切成 k 等份。
eg训练集被切成3等份,拿其中1份当验证集,另外2份当训练集,重复3次。
不匹配
指训练集和测试集分布不同,因此无法像过拟合一样通过更多数据克服
需要自己理解数据集的生产方式才能解决