1.4 模型评估和模型选择

训练误差和测试误差有区别：两个可以不一致，一个用于训练模型，一个用于评估模型
过拟合：如果一味的追求提高对训练数据的预测能力，那么模型的复杂度往往比真模型更高，加上训练数据本身存在噪声，所以你对训练数据越拟合，那么可能越有问题，即学习得到模型参数过多，以至于模型对已知训练数据预测的很好，但对未知数据的预测很差。模型复杂，效果较差是我们不愿看到的。
欠拟合：模型复杂度较低，比真模型复杂度要低，学习的模型参数比真实模型的参数个数越少，误差可能越大，模型虽然简单，但效果较差。模型简单，效果差也不是我们想看到的。
由此可以得到训练误差和测试误差和模型复杂度的关系
训练误差随着复杂度增加而减小，测试误差先减小（前面欠拟合测试误差大）后增加（后面过拟合测试误差也大），也可以看出一般情况下，训练误差比测试误差小些。
最终目的：选择模型复杂度适当，训练误差和测试误差较小的模型。
如何选择测试误差较小的模型的模型复杂度呢：正则化和交叉验证