神经网络训练集和验证集的原理理解（二）

最近在看《机器学习实战——基于Scikit-Learn和Tensorflow》的时候，发现其对于训练集、验证集、测试集的讲解很透彻，值得分享一下。

现摘录如下：

1. 了解一个模型对于新场景的泛化能力的唯一办法就是，让模型真实地去处理新场景。做法之一是将其部署在生产环境，然后监控它的输出。这个方法用起来不错，不过如果模型非常糟糕，你的用户就会抱怨——所以这显然不是最好的办法。

更好的选择是将你的数据分割成两部分：训练集和测试集。顾名思义，用训练集的数据训练模型，然后用测试集的数据来测试模型。
应对新场景的误差率称为泛化误差，通过测试集来评估你的模型，就可以得到对这个误差的评估。这个估值可以告诉你，你的模型在处理新场景时的能力如何。 如果训练误差很低（模型对于训练集很匹配，很少出错），但是泛化误差很高，那说明你的模型对于训练数据存在过度拟合。

2. 所以评估一个模型很简单，用测试集就行了。现在假设你在两个模型（一个线性模型和一个多项式模型）之间犹豫不决，如何做出判断呢？

做法是训练两个模型，然后对比它们对测试数据的泛化能力。

3. 现在让我们假设线性模型的泛化能力更强，但是你想要应用一些正则化来避免过度拟合。问题又来了，你要如何选择正则化超参数的值呢？

做法之一是使用100个不同的超参数值来训练100个不同的模型。然后假设你由此找到了最佳的超参数值，它生成的模型泛化误差最小，比如仅仅5%。

4. 然后你将这个模型运行在生产环境，可是很不幸，它并没有如预期那样工作，反而产生了15%的误差，这到底发生了什么。

问题出在你对测试集的泛化误差进行了多次度量，并且调整模型和超参数来得到拟合那个测试集的最佳模型。这意味着该模型对于新的数据不太可能有良好的表现。

常见的解决方案是再单独分出来一个保留集合，称为验证集。

在训练集上，使用不同的超参数训练多个模型，然后通过验证集，选择最好的那个模型和对应的超参数，当你对模型基本满意之后，再用测试集运行最后一轮测试，并得到泛化误差的估值。

5. 为了避免验证集“浪费”太多的训练数据

常见的技术是使用交叉验证：将训练集分成若干个互补子集，然后每个模型都通过这些子集的不同组合来进行训练，之后用剩余的子集进行验证。一旦模型和超参数都被选定，最终的模型会带着这些超参数对整个训练集进行一次训练，最后再用测试集测量泛化误差。