李宏毅老师的机器学习笔记
课程视频
error 的来源
- Bias
- Variance
Bia和Variance如图
个人理解:Bias就像是是偏离目标;Variance就像是在目标周围发散
Variance很大会导致Overfitting:模型太复杂,预测效果差
Bias很大会导致Underfitting:训练效果差
什么是Underfitting?
以及如何处理?
什么是Overrfitting?
以及如何处理?
如何同时处理Bias和Variance
- Cross Validation
- N-fold Cross Validation
总结
- 误差的来源
Bias: 离目标越远,偏差越大
Variance:点越发散,方差越大 - 模型是函数集,最好的函数也只能从模型中选取
简单模型:空间比较小,可能没包含目标函数,所以无论怎么选,都选不到目标 bais大
复杂模型:空间很大,包含了目标函数,但是太多函数,可能找不到目标 variance大 - 如果模型没办法fit训练样本,代表bias大,underfitting了
如果训练误差很小,测试误差很大,代表variance大,overfitting了