训练误差和测试（泛化）误差的区别及其与模型复杂度的关系

1.泛化能力：
机器学习的目标是使学得的模型能够很好的适用于新的样本，而不是仅仅在训练样本上工作的很好。学得的模型对新样本（即新鲜数据）的适应能力称为泛化能力。

2.误差：学习到的模型在样本上的预测结果与样本的真实结果之间的差 。

训练误差：模型在训练集上的误差。
泛化误差（测试误差）：在新样本上的误差。

显然，我们更希望得到泛化误差小的模型。

3.欠拟合与过拟合
欠拟合：学得的模型训练误差很大的现象。
过拟合：学得的模型的训练误差很小，但泛化误差大（泛化能力较弱）的现象。

4.误差（训练误差、测试误差）和模型复杂度的关系