深度学习学习笔记——如何调参

调参就是调整超参数,使模型的表达能力达到最大程度
实际调参案例
调参过程中要观察训练集损失函数和验证集损失函数和验证集的准确率。
当训练集损失函数降到一定程度不再降低时(不是固定值,是在一定区间内),可能是因为学习率过大导致的震荡,可以降低学习率。
当训练集损失函数很小验证集损失函数很大时,可能是过拟合,应该停止迭代。
train loss与test loss结果分析:
神经网络训练loss不下降原因集合
如何解决神经网络训练时loss不下降的问题
当验证集的准确率在若干epoch后没有增长,可能是过拟合,应该停止epoch。
train loss 不断下降,test loss不断下降,说明网络仍在学习;
train loss 不断下降,test loss趋于不变,说明网络过拟合;
train loss 趋于不变,test loss不断下降,说明数据集100%有问题;
train loss 趋于不变,test loss趋于不变,说明学习遇到瓶颈,欠拟合,模型有问题或数据集有问题或者正则化过度、或者需要减小学习率或批量数目;
train loss 不断上升,test loss不断上升,说明网络结构设计不当,训练超参数设置不当,数据集经过清洗等问题。
常见的调参有:

lr
weight decay(L2正则化): L2正则化的目的就是为了让权重衰减到更小的值,在一定程度上减少模型过拟合的问题,所以权重衰减也叫L2正则化。
权重衰减(weight decay)与学习率衰减(learning rate decay)
momentum:要是当前时刻的梯度与历史时刻梯度方向相似,这种趋势在当前时刻则会加强;要是不同,则当前时刻的梯度方向减弱。
深度学习Momentum(动量方法)
深度学习中momentum的作用

优化器

batch_size

epoch

机器视觉模型调参是指在训练过程中调整模型的超参数,以优化模型的性能和效果。超参数是指在模型训练前需要设定的参数,如学习率、批量大小、正则化参数等,这些参数不会由模型自动学习得到,需要手动设定。 调参的目标是找到最佳的超参数组合,以使模型在验证集或交叉验证中表现最好。通过适当调整超参数,可以改善模型的收敛速度、准确率、鲁棒性等性能指标。 通常的调参方法包括: 1. 网格搜索(Grid Search):通过指定超参数的取值范围,在给定的超参数组合中进行穷举搜索,评估每组超参数组合的性能,并选择性能最佳的组合。 2. 随机搜索(Random Search):随机选择一组超参数组合进行训练和评估,可以通过多次随机搜索来增加搜索空间覆盖度,找到更好的超参数组合。 3. 贝叶斯优化(Bayesian Optimization):使用贝叶斯优化算法对超参数进行优化搜索,通过建立一个高斯过程模型来估计目标函数(模型性能)的概率分布,并在每次迭代中选择下一个要评估的超参数组合。 4. 自动调参工具和平台:利用一些自动调参的工具和平台,如Optuna、Hyperopt等,可以更高效地进行超参数搜索和优化。 在调参过程中,需要根据具体问题和数据集的特点,有选择地调整超参数。同时,要进行充分的实验和对比,监控模型在验证集上的性能,并使用交叉验证或早停法来避免过拟合问题。调参是一个耗时且迭代的过程,需要根据实际情况进行多次尝试和调整,才能找到最佳的超参数组合。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值