训练集，验证集，测试集

普通参数与超参数

普通参数就是可以被梯度下降所更新的，也就是训练集所更新的参数。超参数是指训练开始之前设置的参数，不在梯度下降的更新范围内，比如网络层数、网络节点数、迭代次数、学习率等等．

训练集，验证集，测试集

1.训练集

    确定模型后，用于训练普通参数．

2.验证集（交叉验证集CV）

    验证集在每个epoch训练完成后，用来测试一下当前模型的准确率，初步评估模型的能力，从而调整模型的超参数。因为验证集跟训练集没有交集，因此这个准确率是可靠的。从狭义来讲，验证集没有参与梯度下降的过程，也就是说是没有经过训练的；但从广义上来看，验证集却参与了一个“人工调参”的过程，我们根据验证集的结果调节了迭代数、调节了学习率等超参数，使得结果在验证集上最优。

3.测试集

      虽然验证集没有对模型的参数产生影响，但是我们却根据验证集的测试结果的准确度来调整超参数，所以验证集对结果还是有影响的，使得模型在验证集上达到最优。就是在很多个模型中，验证集选择了代价函数最小的一个模型。虽然在这个模型上代价很小，但并不代表在其他数据上代价也小。所以需要一个完全没有经过训练的测试集，用来评估模最终模型的泛化能力。

类别

验证集