过拟合和欠拟合的理解

x是独立于训练集的测试样本

偏差

在不同模型的期望均值，与实际值的偏差

衡量模型的正确性，能否通过训练集的训练，很好地估计出一个样本的值。

方差

在不同模型的预期值，与预测均值的偏差

衡量模型的稳定性，会不会因为训练集改变，对一个数据的预测发生很大的变动。

方差衡量不同数据模型预测值的波动，偏差衡量预测值的平均值与真实值的差距。

过拟合方差大

过拟合，根据不同训练集，得到的模型会过分拟合出具体训练集的特征。那么会出现与我们测试样本相似局部特征的训练集训练出的模型

能够获得很小的偏差，与我们测试样本局部特征不同的训练集会显示出大偏差。那么我们就会导致预测结果的方差很大，会因为局部特征

不同，导致结果出现偏差。

这样会表现出在训练集的偏差小，以及和训练集相似的验证集偏差小。因为他很好地拟合了训练集，把局部特征都拟合好了，但是如果验

证集局部特征与训练集不同，也会表现出一定偏差。那么我们对多个训练集求模型，就会发现预测结果会因为训练集的特征不同，导致对

测试样本的预测造成一定的影响。

欠拟合偏差大

欠拟合不能很好地拟合出训练集的特征，所以对训练集中的x的预测值与真实值有较大偏差。没有学习到具体特征。

欠拟合，当训练不足时，模型的拟合能力不够，训练数据的扰动不足以使模型产生显著的变化，此时偏差主导泛化误差。

很多地方提到过拟合的偏差小，这一点貌似不能明确证明。
以及欠拟合方差小，这一点也不能明确证明。