深度学习模型数据增强之后性能变差是什么原因

最新推荐文章于 2024-05-29 09:15:00 发布
最新推荐文章于 2024-05-29 09:15:00 发布
阅读量1k 收藏
点赞数
文章标签： 深度学习 人工智能 pycharm nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44324208/article/details/133992846
版权

在做NLP中的文本匹配任务时，想提高模型的性能，于是对数据做了普通的删除、转换等简单的数据增强操作，但是训练出来的结果特别差是什么原因，在刚开始训练时loss值就已经降得很低了，三轮之后loss变为0，但是f1只有0.27（正常情况下是0.89），请问是哪里出现问题了呢
以下是增强前以及增强后刚开始的loss变化
增强前：
在这里插入图片描述
增强后
在这里插入图片描述

❡ゝFaMiLy゛記忆Forever
关注
深度学习 loss下降后上升在下降_性能变化像过山车，深度学习模型为何总是经历二次下降？...
weixin_39631689的博客
12-06 3051
在近日发表的一篇论文中，来自哈弗大学的研究者证明了在CNN、ResNet和transformer中会出现double descent(二次下降)现象:随着模型增大、数据增多或训练时间延长，模型性能先提高，接着会变差，继而再次提高。通常通过正则化来避免这种结果。虽然这种行为似乎相当普遍，但研究者仍未完全理解为什么会发生这种情况，因此认为对此现象的进一步研究很重要。研究显示，当不提前停止或不使用正则化...
深度学习中的数据增强方法之CutMix
weixin_42621901的博客
12-10 3136
目录CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features摘要Mixup、Cutout和CutMix三种数据增强方法CutMix算法中涉及到的公式对应的代码讨论带有CutMix的模型学习到了什么？ CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features 作者在论文中提出了一种新的
深度学习训练过程自查：为什么我的模型不收敛/表现不佳？
Cleo_Gao的博客
12-07 2696
代码终于写完了，bug 处理好了，终于跑起来了。但是模型不收敛。或者收敛了，但是加 trick 也表现不良。于是开始思考，为什么？哪里出了问题？因此就整理了这个文章，用来辅助自查模型到底哪里出了问题。（有时候是模型结构的问题，有时候真的是因为过度关注模型结构，每次写训练代码都是套模板，不往心里去，其实是训练过程有问题）
为什么扩大数据集可能导致分类效果下降？
热门推荐
ming_hu_yong的博客
08-09 1万+
本文目录0. 说明1. 问题背景2. 原因分析2.1 有没有可能是因为新数据的标签不够准确？2.2 是不是因为数据分布发生了变化？3. 举个栗子4. (强行)理论解释4.1 一种解释4.2 另一种解释5. 结论 0. 说明 由于是商业项目，一些数据不方便公开，但不影响文中列出的结果&结论，请谅解； 若发现问题，或者有任何问题想交流，欢迎留言哦~ 1. 问题背景 最近在做一个文本分类任务，遇到一个现象：在扩大了数据集之后，模型的分类准确率反而下降了，比较严重一个模型是下降了7个百分点左右。 这很违
不是所有数据增强都可以提升精度
whaosoft143ai的博客
10-16 5389
即使引入噪声或裁剪图像的一部分，模型仍可以对图像进行分类，数据增强有一系列简单有效的方法可供选择，有一些机器学习库来进行计算视觉领域的数据增强，比如：imgaug (https://github.com/aleju/imgaug)它封装了很多数据增强算法，给开发者提供了方便。计算视觉领域的数据增强算法大致可以分为两类：第一类是基于基本图像处理技术技术的数据增强，第二个类别是基于深度学习的数据增强算法。向左，向右，向上或向下移动图像可能是非常有用的转换，以避免数据中的位置偏差。
训练模型为什么数据量大了效果却越来越差了
最新发布
Dxy1239310216的博客
05-29 1396
例如，如果原始数据主要集中在某一类别或某一特定场景下，而新增数据则包含了更多类别或更广泛的场景，那么模型可能需要更多的调整才能适应这种变化。：虽然数据量增加了，但如果新增的数据质量不高，存在大量噪声、错误标签或不相关的信息，那么模型的性能可能会下降。：训练过程中的一些策略，如学习率、批处理大小、正则化方法等，都可能影响模型的性能。在使用卷积神经网络（CNN）训练识别模型时，如果随着数据量的增加，模型的效果却越来越差，可能涉及多个因素。：数据的预处理方式，如归一化、标准化或增强等，都可能影响模型的性能。
深度学习 autoencoder_深度学习到底需要迭代10次还是100次？不能仅看验证效果
weixin_39544333的博客
11-22 457
深度学习是当今最火的研究方向之一。它以其卓越的学习能力，实现了AI的关键功能。一般来说，深度学习一次肯定是不够的，那到底学习多少次合适呢？翻了翻各位大牛的研究成果，有训练10个迭代的，有30个，甚至也有1万个以上的。这就让小白迷茫了，到底训练多少次合适？训练的检验标准是什么？有一些大牛上来直接就说训练多少次，也不解释为什么，就说是凭经验，这种我们学不来。还有一些专家给出了一些理由，我们来总结一下。...
数学建模与数据分析中的灰色预测
weixin_44618906的博客
11-09 2049
灰色预测 对既含有已知确定信息，又含有不确定信息的系统进行预测 文章目录(1) 灰色系统(2) GM(1,1) 模型1. 简介2. 转化成灰色微分方程3. 建立对应的白化方程4. 由白化方程解出结果5. 指数规律的检验6. 模型的评价7. 模型的拓展(3) 使用的注意事项(4) 预测题目的技巧 (1) 灰色系统   对原始数据进行生成处理，生成有较强规律的数据序列。 根据原始数据...
"RNA降解预测的深度学习模型
沙特国王大学学报iVaccine-Deep：使用深度学习预测COVID-19 mRNA疫苗降解Amgad Muneera，Suliman Mohamed Fatib，Nur Arifin Akbarc，David Agustriawand，塞强托·特里·瓦尤迪和a马来西亚斯里依斯干达32160，...
基于深度学习的车道线与绿植分割算法.pdf
08-18
深度学习方法通过大量的样本训练，使模型能够自主学习到车道线的深度特征，并对各种复杂场景下的车道线进行精准识别。基于深度学习的车道线检测方法通常包含样本标注、深度自学习和特征提取等步骤。 为了进一步提高...
基于学习动态引导的深度图像增强方法
3769基于学习动态引导的深度图像增强顾书航1，左王梦2，史国2，陈云锦3，陈崇宇4，1，张磊1，张1香港理工大学，2哈尔滨工业大学3ULSee Inc.，4中山大学。{shuhanggu@gmail.com，cswmzuo@gmail.com，cslzhang@comp....
机器学习题3：针对特定的数据集，学习获得的模型泛化能力较差，请问如何诊断该模型是属于欠拟合问题还是过拟合问题呢？并给出相应的解决方案。
hanmengyuan2001的博客
06-14 810
针对特定的数据集，学习获得的模型泛化能力较差，请问如何诊断该模型是属于欠拟合问题还是过拟合问题呢？并给出相应的解决方案。
数据增强总结
你的灯在亮
06-05 3370
数据增强方式： （1）传统数据增强，包括crop，translate，zoom，hue等 （2）GAN（CycleGAN）。生成的图片和真实图片差距较大，损失函数定义为分类偏差。 （3）插值式，SMOTE，MIXUP等算法生成新图片 （4）迁移学习 （5）特征融合，特征手动提取 论文总结： 《The Effectiveness of Data Augmentation in I...
深度学习 效果突然下降_学习效果不佳？提高专注力、深度学习才是必备技能...
weixin_39615741的博客
11-22 460
导语：卡内基·梅隆大学机器人研究所的所长金出武雄说：要像外行一样思考，像专家一样行动。同学阿敏今年毕业，准备工作。时运不济，她专业能力又不太强，相关的工作不好找，就决定跨专业就业。想学运营，报班14天学习运营，训练营一结束就急切地投简历，结果连笔试通知都没收到；接下来又要学编程，通过各种网上课程，学了两个月Java基础，又去投简历，笔试时，完全不了解底层逻辑，又被pass；想要写作发展副业，半个月...
数据增强 总结
guifeng93的博客
02-18 1280
原文链接：http://www.cnblogs.com/gongxijun/p/6117588.html 在图像的深度学习中，有的时候训练集不够多，或者某一类数据较少，或者为了防止过拟合，让模型更加鲁棒性，为了丰富图像训练集，更好的提取图像特征，泛化模型（防止模型过拟合），一般都会对数据图像进行数据增强， 数据增强，常用的方式，就是旋转图像，剪切图像，改变图像色差,扭曲图像特征，改变图像尺寸大小，...
深度学习过程中测试准确率先上升后下降是为什么？
qq_51570094的博客
09-11 9666
在初始训练阶段，模型逐渐开始学习到一些信息，因而在验证集上的表现是提升的，在到达某一点后，模型接着训练则会更加的去关注一些细枝末节的东西，即模型表达更加多。1.早停，既然模型在某一点时达到最优，那么就设置模型在最优点附近停止训练。在整个训练过程中，虽然说模型出现了过拟合，但是其在训练集上的损失还是趋于平稳的，并不会说因为过拟合而导致损失波动。在训练过程中的验证准确率前上升，后下降，即在验证集上的表现先好后差。3.改变数据，使数据更加复杂，多变，适应模型，也能取得不错的效果。2.为模型增加惩罚项，即正则化。
解决深度学习训练每次结果不同
zhangqiqiyihao的博客
06-03 4482
1.在验证和测试代码时加入 model.eval() 可以打开验证开关，关闭所有的dropout等。但是在返回到训练时需要再次加入 model.train() 之前的训练中做了这个操作每次的测试结果就会保证一致。后来不知道发生了什么又不能一致了 再加入种子 2.加入seed torch.manual_seed(seed) torch.cuda.manual_seed(seed) torch.cuda.manual_seed_all(seed) # if you are using multi-GPU.
深度学习数据对模型的影响
qq_43428929的博客
02-28 2409
尤其是当模型参数量很大，过于复杂时得到的性能比简单模型要差，这时候往往归结于模型的pipeline还是不够强大，却忽略了数据量的大小对模型性能的影响。如果使用带有长尾分布的数据集去直接训练分类网络的话，就会导致对于占比较大的类别能够较好的预测，占比较小的类别不能够较好的预测。从数据增强的使用频率来看，不难看出数据对于模型性能的重要性。数据增强简单的说就是基于现有的数据集，通过一些列变换产生不同的数据集以此来增强网络性能。就采用对齐混合图像的方式进行数据增强，如下，获得狗的形状，企鹅的纹理的数据。
深度学习神经网络加大batchsize训练速度降低的原因（GPT）
qq_40721108的博客
11-27 2165
通常情况下，增大批量大小可以提高训练过程中的计算效率，因为可以利用并行计算的优势。较大的批量大小可能导致模型更多地陷入局部最小值，而较小的批量大小可能更容易跳出局部最小值并找到全局最小值。尽管并行计算可以提高效率，但在某些情况下，较大的批量大小可能导致GPU资源利用率下降。较大的批量大小可能导致无法将整个批次同时加载到显存中，需要将其分成更小的子批次来进行计算。如果模型参数和数据不能同时存储在内存中，就需要将数据分批处理，这可能导致额外的内存交换和加载操作，从而增加了训练时间。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值