CV-模型训练与验证

• 构建验证集
• 模型训练和验证
• 模型保存与加载
• 模型调参

构造验证集

验证集存在的原因

评估模型的重点在于将可用数据还分为三个部分：训练集(training set)、验证集(validation set)和测试集(test set)。在训练集上面训练模型，并且在验证集上面评估模型。一旦模型被准备好，最后就在测试集上面测试模型。
　　不这样做的原因在于，开发一个模型通常需要我们去调整模型的配置：例如，选择最佳的全连接层数或者每一层的节点数（这些被称之为模型的超参数，以区分于模型自身的参数，如：模型的权重和偏置）。我们通过模型在验证集上面的表现来做这种调整。本质上，这种调整也是一种学习的过程：在某种参数空间中寻找最佳的模型配置。结果，根据模型在验证集上面的表现来调整其配置会很快地导致模型在验证集上面过拟合，即便模型从来没有直接在验证集上进行训练。
　　产生这一现象的原因即所谓的“信息泄漏“。每一次基于模型在验证集上面的表现来调整某个超参数的时候，某些关于验证集的信息就会泄漏给模型。如果我们仅仅作一次这样的调整，那么只会有很少的信息被泄漏，那么你的验证集依然可以被用来评估模型。然而，如果你多次重复这一过程——运行一个实验，在验证集上面评估模型，然后修改模型——那么关于验证集的越来越多的信息会被泄漏个模型。
　　最后，我们只会得到一个在验证集上面表现良好的模型，因为你就是朝着这个方向去优化它的。然后我们所关心的是模型在新数据上面的表现，而不是验证集，所以我们需要应用一个完全不同的，全新的数据集来评价这个模型，即测试集。我们的模型不能够直接地或者间接地接触过任何关于测试集的信息。如果