训练过程中的train,val,test的区别

本文解释了机器学习中train、val和test数据集的作用。train用于模型训练,val用于监控训练过程并防止过拟合,test则用以评估模型性能。通过观察val集上的损失变化,可以调整训练策略。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

 

train 是训练集,
val (validation的简称)是训练过程中的测试集,是为了让你在边训练边看到训练的结果,及时判断学习状态。
test 是训练模型结束后,用于评价模型结果的测试集。
 
其中,只有train是需要训练的,valtest不是必须的。一般的,val的数据集和train没有交集,所以这部分数据对最终训练出的模型没有贡献,其主要作用是来验证是否过拟合、以及用来调节训练参数等。
 
例:

训练0-5000次迭代过程中,train和val的loss都是不断降低,
但是从5000-10000过程中train loss不断降低,validation的loss不降反升。
那么就证明继续训练下去,模型只是对train dataset这部分拟合的特别好,但是泛化能力很差。
所以与其选取10000次的结果,不如选择5000次的结果。

 
参考:


  1. https://www.mobibrw.com/2017/7966
  2. https://www.cnblogs.com/JZ-Ser/p/7118053.html
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值