机器学习中模型的诊断、改进、选择——偏差、方差、欠拟合、过拟合、交叉验证

资料来源：台大 李宏毅 2020机器学习深度学习课程

---

0、知识点

• 偏差bias
• 方差variance
• 过拟合 Overfitting
• 欠拟合 Underfitting
• N折交叉验证 N-fold Cross Validation

---

一、偏差和方差

为什么学习bias和variance?

了解average error 产生的原因，进而挑选适当的方法improve自己的model

• average error来自两部分：偏置bias和方差variance

（横轴表示Model多项式的次数，纵轴表示testing data上的平均误差）
从训练数据中我们找到$f^{\ast }$，它是$\hat{f}$（实际上的函数）的估计（estimator）
那$f^{\ast }$