深入理解机器学习的拟合问题和泛化问题

深入理解拟合问题和泛化问题:

从数学角度：

偏差是指我们忽略了多少数据，而方差是指我们的模型对数据的依赖程度。

（1）方差是模型响应训练数据而变化的程度。由于我们只是记忆训练集，我们的模型具有很大的差异：它高度依赖于训练数据。

（2）偏差是方差的另一面，因为它代表了我们对数据做出的假设的强度。

（3）

过拟合：过分依赖训练数据

欠拟合：未能学习训练数据中的关系

高方差：模型根据训练数据显着变化

高偏差：对模型的假设不够导致忽略训练数据

（4）过拟合和欠拟合导致测试集的泛化性差

一个验证集模型校正可以防止过拟合

直观的说，就是训练的theta的是否接近理想理想的theta。