提升模型性能的几个方法以及训练集测试集验证集的划分与作用

本文介绍了提升模型性能的四个方法:数据增强、权重初始化、迁移学习和模型融合,并详细讨论了训练集、验证集、测试集的划分及作用。模型融合能有效提高模型1%-2%的性能,而训练集用于模型训练,验证集用于调整超参数,测试集用于评估模型。此外,还探讨了batch_size的选择对模型训练的影响。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

一、提升模型性能的方法一般在四个方向:

1.Data Augmentation

2.Weight Initialization

3.Transfer learning + Fine-tune

4.Ensemble/Model Fusion

数据增强、迁移学习与微调这些之前已经学过了。关于权重的正则化约束。因为单纯的不断增强数据量,还是不够的。因为提升过的数据是高度相关的。对抗过拟合应该主要关注模型的“熵容量”也就是模型允许存储的信息量。1.存储量大,能利用更多的特征,取得更好的性能。2.存储量小,我们这时要将存储的特征主要集中在真正相关的特征上,并有更好的泛化性能。

此时需要正确的调整“熵容量”:a.选择调整模型的参数数目,包括每层的规模、模型的层数。b.对权重进行正则化的约束,如L1或L2这种约束会使模型的权重偏向较小的值。c.数据提升+dropout都是在随机扰乱数据的相关性。在迁移学习中,权重的初始化是加载已经训练好的权重的参数来作为此时的初始化权重。

模型的融合,这个基本上是有利无弊的,基本都能提高1%-2%的性能。

a.从提交结果的文件中进行融合,如果几个模型差异较大的话,最终的模型会得到一个较大的提升。

b.加权表决融合。即会更重视表现好的模型,需要赋予更大的权值。

c.对结果取平均:取平均的做法常常可以减少过拟合的现象。


二、训练集、验证集、测试集的划分与作用

我个人的理解是:

训练集:用来训练模型的,主要是更新权重参数,来使模型在经过每个batch的训练集之后,得到进一步优化,性能更好。

验证集:一般而言验证集是从训练集中提取出来的,具有代表性的数据,来验证训练的模型的好坏。其主要作用ÿ

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值