深度学习学习笔记——label smoothing和mixup防止过拟合

最新推荐文章于 2024-06-23 09:35:55 发布
最新推荐文章于 2024-06-23 09:35:55 发布
阅读量1.2k 收藏 1
点赞数
分类专栏： 深度学习学习笔记 文章标签： pytorch 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phily123/article/details/121504252
版权

label smoothing: 像L1、L2和dropout一样，是机器学习领域的一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题。防止过拟合，提升模型的泛化能力。
在这里插入图片描述
原来的真实值是是目标就为1不是目标就为0
在这里插入图片描述
经过平滑后的标签在是目标时接近1而不是目标时接近0，这样会让模型不那么自信，提高模型的泛化能力（正则化手段）
标签平滑（Label Smoothing）详解
Label-Smoothing

mixup: 一种具有正则化能力（防止过拟合）的数据增强手段
label smooth/mixup——深度学习中的一种防止过拟合方法

phily123
关注
专栏目录
Mixup原理与代码实例讲解
程序员光剑
08-21 752
1. 背景介绍 1.1. 深度学习中的数据增强 数据增强是深度学习中提高模型泛化能力的关键技术之一。它通过对训练数据进行各种变换，如旋转、缩放、翻转等，来增加数据的多样性，从而迫使模型学习更鲁棒的特征表示。 1.2. Mi
机器学习&深度学习资料笔记&基本算法实现&资源整理.zip
03-03
常用算法：NMS | Mixup | label_smoothing | Weighted-Boxes-Fusion(NMS,WBF..) | mAP计算 | IOU计算 | YOLO F1 其他 课程: CS231n/Feifei Li 笔记: chinese-ocr项目 | 《深度卷积网络：原理与实践》读书笔记 | ...
多分类模型如何将LabelSmoothing与MixUp联合使用？
胖胖大海的博客
06-13 1191
多分类模型如何将LabelSmoothing与MixUp联合使用？
label smooth/mixup——深度学习中的一种防止过拟合方法
J~的博客
02-10 2335
LabelSmooth 在常见的多分类问题中，先经过softmax处理后进行交叉熵计算，原理很简单可以将计算loss理解为，为了使得网络对测试集预测的概率分布和其真实分布接近，常用的做法是使用one-hot对真实标签进行编码，作者认为这种将标签强制one-hot的方式使网络过于自信会导致过拟合，因此软化这种编码方式。 等号左侧：是一种新的预测的分布 等号右侧：前半部分是对原分布乘...
深度学习中小知识点系列(四) 解读MixUp、Random Erasing、CutOut、CutMix
weixin_44302770的博客
11-27 1328
算法非常简单：其中，xiyixi​yi​和xjyjxj​yj​是从原始训练数据中随机选取的两个样本，λ∈01λ∈01。$ \lambda$是mixup的超参数，控制两个样本插值的强度，当 $ \lambda→ 0或或或\lambda→ 1$时，则退化到了ERM的情况。
【深度学习】MixUp数据增强方法
weixin_40293999的博客
06-18 2998
写一点数据增强吧MixUp数据增强方法在最近的几个Yolo算法中得到了广泛的应用，特别在YoloX中，s/m/l/x四个型号的网络都使用了MixUp数据增强。nano和tiny由于模型的拟合能力一般没有使用MixUp，但也说明了MixUp具有强大的数据增强能力。MixUp的思路较为简单，主要是将两张图像按比例进行混合，如图所示：图片混合完成后，原来两幅图片的真实框此时也位于一幅图像上。
【Out-of-Distribution Detection】Mixup in NeurIPS 2019、CutMix in ICCV 2019、PixMix in CVPR 2022 个人理解
研究兴趣：开放集识别、开放世界识别、新类发现、增量学习、少样本学习
05-19 574
分布外检测（Out-of-Distribution Detection, OOD Detection），测试集中可能出现超出训练集样本分布的样本（可以是来自未知类的样本、被破坏的样本、异常样本等等），要求将这些样本隔离出来。
39. 深度学习中的各种tricks_1.0_label_smoothing - 兔角与禅 - CSDN博客1
08-03
深度学习中的各种[ 用于整理遇到的NN设计中使用的不同结构和trick的原理与实现 ]label smoothing （标签平滑）在读cleverhans的示例
LaplacianSmoothing-GradientDescent-master_深度学习python_
09-30
深度学习是现代人工智能领域的重要分支，它通过模拟人脑神经网络的工作原理，处理和学习大量数据，从而实现图像识别、语音识别、自然语言处理等多种任务。在这个“LaplacianSmoothing-GradientDescent-master”项目...
防止模型过拟合的标签平滑技术
01-20
在机器学习领域，模型过拟合是一个常见的问题，它指的是模型在训练数据上表现良好，但在未见过的数据上性能下降的现象。为了缓解过拟合，研究人员提出了多种技术，其中之一就是标签平滑。本文将深入探讨标签平滑技术...
深度学习调参总结（英文版）
04-26
Disclaimer: weakly coupled topics, so may be a little chaotic, short summaries of interesting problems, my random thoughts on those problems, A rough plan of this ...mixup, label smoothing etc
【pytorch】使用mixup技术扩充数据集进行训练
种一棵树最好的时间是十年前，其次是现在
03-06 6119
mixup是一种数据增强技术，它可以通过将多组不同数据集的样本进行线性组合，生成新的样本，从而扩充数据集。mixup的核心原理是将两个不同的图片按照一定的比例进行线性组合，生成新的样本，新样本的标签也是进行线性组合得到。比如，对于两个样本x1和x2，它们的标签分别为y1和y2，那么mixup生成的新样本x’和标签y’如下：其中，λ为0到1之间的一个随机数，它表示x1和x2在新样本中的权重。
深度学习——Mixup是一种样本内插的增广技术
墨门
02-13 575
Mixup是一种样本内插的增广技术；
推荐文章：深入了解Mixup - 开源深度学习增强技术的翘楚
最新发布
gitblog_00047的博客
06-23 582
推荐文章：深入了解Mixup - 开源深度学习增强技术的翘楚 mixup_pytorchA PyTorch implementation of the paper Mixup: Beyond Empirical Risk Minimization in PyTorch项目地址:https://gitcode.com/gh_mirrors/mi/mixup_pytorch 在深度学习领域中，算法的...
Keras深度学习框架第十九讲：在 KerasCV 中使用CutMix、MixUp 和 RandAugment 图像增强技术
MUKAMO的博客
05-22 1181
本文讨论了使用CutMix、MixUp和RandAugment等先进图像增强技术，结合ResNet50模型在牛津花卉数据集上进行图像分类的训练。讨论了标签平滑在MixUp中的应用，以提高模型泛化能力。强调了在模型训练过程中调整超参数和优化策略的重要性。介绍了自定义增强流程的概念，以适应不同任务和数据集的需求。最后，强调了通过验证集评估模型性能并进行迭代优化的必要性。这些技术和策略在图像分类等计算机视觉任务中具有广泛应用前景。
基于 Mixup 数据增强的 LSTM-FCN 时间序列分类学习记录
pengxiang1998的博客
09-12 3998
在时间序列分类任务中，针对时间序列数据少和多样性导致深度学习模型准确率不高的问题，提出 Mixup 数据增强的长短期记忆网络–全卷积网络LSTM-FCN）时间序列分类算法。该算法首先使用 Mixup对原始数据进行数据增强，通过简单的线性插值对时序数据进行混合，得到新的混合之后的增强数据；然后使用增强数据训练 LSTM-FCN，并进行分类。
探秘Mixup：数据增强的新利器
gitblog_00060的博客
04-18 529
探秘Mixup：数据增强的新利器 mixupImplementation of the mixup training method项目地址:https://gitcode.com/gh_mirrors/mi/mixup 项目简介 是一个由Hongyi Zhang开发的Python库，它实现了机器学习中的数据增强策略——Mixup方法。这个项目的目标是通过混合不同样本的数据点生成新的训练样本，从而...
【论文学习】mixup系列（mixup、cutMix、manifold mixup、patchUp、saliencyMix、puzzleMix、co-Mixup、FMix）
热门推荐
Brikie的博客
02-24 2万+
本文详细分析了mixup方法及原理，并介绍了mixup后续的多种改进方法。
吴恩达机器学习笔记：从基础到验证，全面解析线性回归与SVM
在实际应用中，为了防止过拟合，可能会采用拉普拉斯平滑（Laplace Smoothing）来增加模型的稳健性。 支持向量机（SVM）作为神经网络之后的优秀算法，其核心思想是找到数据点之间最大的间隔（最大边距），这使得模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值