1. 误差从哪里来?
Error 的来源
- Bias : 偏差
- variance : 方差
- 噪声
偏差(Bias)和方差(Variance)——机器学习中的模型选择
估测
- 评估 x 的偏差
- 评估 x 的方差
为什么会有很多的模型?
不同的数据集
- 考虑不同模型的方差
简单模型:方差较小;复杂模型:方差较大(简单模型受到不同训练集影响较小)
- 考虑不同模型的偏差
简单模型:偏差较大;复杂模型:偏差较小(简单模型函数集的space小,可能不包含)
偏差 VS 方差
- 偏差较大(模型简单): 欠拟合
解决方案:
此时应该重新设计模型。因为之前的函数集里面可能根本没有包含f,可以:将更多的函数加进去,比如考虑高度重量,或者HP值等等。 或者考虑更多次幂、更复杂的模型。
- 方差较大(模型复杂): 过拟合
解决方案:
简单粗暴的方法:更多的数据,或者数据增强。
模型选择
- 交叉验证
- K折交叉验证
2. 梯度下降法
调整学习率
- 自适应调整学习率
- Adagrad 算法
随机梯度下降法
特征缩放
常用方法: 减去平均值,再除以标准差