generalization error
在测试集中的误差叫做 generalization error (or out-ofsample error)
验证集(P30)
需要验证集的目的:不能在训练100个模型找出最佳的参数。因为你使模型和参数自动适应了。
怎么使用?先用训练集训练带有不同超参数的很多个模型,然后你挑一个在验证集上表现最好的模型,选择这个模型的参数,最后用测试集测试。
交叉验证集
训练集被分成互补的子集,训练好多模型,每个模型用不同的子集训练,用剩余的子集评估,一但参数挑选完毕,那么在用整个训练集训练,用测试集测试