模型选择与训练集、验证集、测试集

问题描述：

在学习模型设计完成后，对模型进行训练，可得到模型参数 θ ，通过假设函数公式：

可得到预测值。

但怎么知道训练完成的模型性能怎么样呢？也就是说，通过该模型得到的预测值准不准确？有没有办法提高准确度？

这就是本节将要解决的问题。

模型选择与训练集、验证集、测试集

如图所示，将原始数据以 6：2：2 分成 3 份。
分别为：训练集、交叉验证集、测试集

训练集：训练模型，获得参数 θ
交叉验证集: 获取模型其他最优参数。比如：模型多项式的次数，正则化时参数 λ，学习率 α，等等可以提高模型预
测准确度的除 θ 外的参数。
测试集：在其他参数调整好后，测试系统预测的准确度。

需要注意的是：
1 在对公式进行正则化避免过拟合问题时，交叉验证集与测试集是不需要正则化的（λ == 0），这 3 个集仅仅是训练数据不同，模型（公式）是相同的。
2 使用交叉验证集寻找最优参数时，得到的 Jcv 是一个 n*1 维的向量（例如寻找模型次数时，使d = 1：10，则 n = 10），可以使用可视化找出最优参数。也可以使用 matlab 函数 min(X) 直接得到最小值，但 d = 9 与 d = 10 所得的 Jcv 大小差别不大，但计算量却增加很多（增加了 x^10 项），因此建议从图像中找最优参数。