Pytorch学习系列之十:如何确定合适的epoch数、在加载的模型基础上继续训练

本文介绍了在PyTorch中如何根据实际情况选择合适的epoch数,以及如何在已加载的模型基础上继续训练。通过CIFAR10数据集的实例,演示了动态监测模型在验证集上的表现以确定最佳epoch,并展示了如何处理训练中断后的模型恢复与继续训练。
摘要由CSDN通过智能技术生成

1,使用背景

当有以下两种情况时:

1) 不知道训练的epoch选取为何值时。过小,训练不充分,泛化能力差; 过大,训练过度,导致过拟合。所以需要动态观察每个epoch后,模型在验证集(也可以不严谨的说是测试集)上的精度,选取精度最大的epoch作为最终的训练结果。

2)在加载的模型基础上继续训练。

在训练模型的时候可能会因为一些问题导致程序中断,或者常常需要观察训练情况的变化来更改学习率等参数,这时候就需要加载中断前保存的模型,并在此基础上继续训练。

2,实战代码

本文以CIFAR10数据集为例,将数据集分为了训练集(5W张)、测试集(1W张),每张图片是3*28*28(CHW)。严格意义上讲,实战项目中还需要有验证集的。这里就将验证集省略掉了,道理都是一样的。

本文将自动检查当前机器是否支持CUDA,自动切换设备

use_cuda = torch.cuda.is_available()
device = torch.device("cuda" if use_cuda else 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

thequitesunshine007

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值