关于label smoothing的理解

标签平滑是一种正则化技巧,用于提高分类任务中模型的泛化性能和准确率,缓解数据分布不平衡问题。通过允许软标签的存在,它避免了hard label带来的模型过拟合风险,尤其是在面对数据标注错误时。标签平滑通过设置超参数来对标签进行平滑处理,使模型在训练过程中更容易收敛,增强泛化能力。
摘要由CSDN通过智能技术生成

背景介绍

提到label smoothing(标签平滑),首先介绍一下什么是hard label和soft label.
简单来说,hard label就是非1即0,不存在既可能是A也可能是B的情况,soft label则不同,它并不要求所有的“精力”全部倾向一个,允许模棱两可的状态,比如这幅画有40%的概率是猫, 60%的概率是狗。

什么时候会用到

标签平滑在机器学习或者深度学习中可以看作是一种正则化的技巧。它能提高分类任务中模型的泛化性能和准确率,缓解数据分布不平衡的问题。

为什么说能提高模型的泛化性能和准确率呢,我们需要从公式角度出发理解:

对于hard label的情况,softmax之后输出的结果为:
在这里插入图片描述

![在这里插入图片描述](https://img-blog.csdnimg.cn/978a0cc999![在这里插入图在这里插入图片描述

在这里插入图片描述
可以看出,如果要想损失的loss为0,那么极限条件就是让正样本的输出值为1,负样本的输出值为0,而要想达到负样本的概率为0,

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值