参数不仅仅只有权重
在神经网络中有很多参数,有些参数,比如权重是可以通过训练集学习更新的;
但是有些参数是在训练开始之前人为设定的,比如学习率(或初始学习率),层的大小等这类参数,我们可以称之为超参数。
超参数的调整
这样的参数一次训练只能设置一次,很显然为了找到一个合适的数值,需要不断调整其设定值,重复训练模型,观察其结果。
验证集
那为什么不直接在训练集上观察其调整带来的效果呢?因为如果只是在训练集上观察效果,那么学习总是会往尽可能多的满足训练集上的情况靠近。但是换了个从未观察过的样本集合中,可能效果就不是那么好。所以此时为了调超参数,引入一个网络从未学习的样本集合——验证集,来观看每一次调超参数后的结果。
测试集
测试集是不能以任何形式参与神经网络中的学习的过程中的。如果参与了,那么就无法保证模型在未观测的数据上的表现的可靠性。
似乎这样说,和验证集貌似效果一样。但是验证集的不断参与调整超参数的过程,就已经不满足测试集“不能以任何形式参与神经网络中的学习的过程中”这一个原则。
验证集的存在是为了调整超参数,而已经确定完最佳超参数的模型如何去查看其的表现如何呢?那么这就是测试集的存在的意义。
个人感想
- 如果此时我对于验证集的想法没有错误的话,那么如果你的模型不需要调整超参数,就可以在fit的过程中,直接拿测试集的数据作为validation_data(验证数据)。而不需要为此设置一个验证集。
- 在训练的过程中使用训练集(训练权重参数)以及验证集(为了对比超参数调整前后的变化);训练结束后,使用测试集测试性能。如果需要训练超参数,训练集和验证集的图片都不应该出现在测试集中。