为何需要验证集?

参数不仅仅只有权重

在神经网络中有很多参数,有些参数,比如权重是可以通过训练集学习更新的;
但是有些参数是在训练开始之前人为设定的,比如学习率(或初始学习率),层的大小等这类参数,我们可以称之为超参数

超参数的调整

这样的参数一次训练只能设置一次,很显然为了找到一个合适的数值,需要不断调整其设定值,重复训练模型,观察其结果。

验证集

那为什么不直接在训练集上观察其调整带来的效果呢?因为如果只是在训练集上观察效果,那么学习总是会往尽可能多的满足训练集上的情况靠近。但是换了个从未观察过的样本集合中,可能效果就不是那么好。所以此时为了调超参数,引入一个网络从未学习的样本集合——验证集,来观看每一次调超参数后的结果。

测试集

测试集是不能以任何形式参与神经网络中的学习的过程中的。如果参与了,那么就无法保证模型在未观测的数据上的表现的可靠性。
似乎这样说,和验证集貌似效果一样。但是验证集的不断参与调整超参数的过程,就已经不满足测试集“不能以任何形式参与神经网络中的学习的过程中”这一个原则。
验证集的存在是为了调整超参数,而已经确定完最佳超参数的模型如何去查看其的表现如何呢?那么这就是测试集的存在的意义。

个人感想

  1. 如果此时我对于验证集的想法没有错误的话,那么如果你的模型不需要调整超参数,就可以在fit的过程中,直接拿测试集的数据作为validation_data(验证数据)。而不需要为此设置一个验证集。
  2. 在训练的过程中使用训练集(训练权重参数)以及验证集(为了对比超参数调整前后的变化);训练结束后,使用测试集测试性能。如果需要训练超参数,训练集和验证集的图片都不应该出现在测试集中。
  • 7
    点赞
  • 35
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

little student

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值