标签平滑是一种正则化技巧，用于提高分类任务中模型的泛化性能和准确率，缓解数据分布不平衡问题。通过允许软标签的存在，它避免了hard label带来的模型过拟合风险，尤其是在面对数据标注错误时。标签平滑通过设置超参数来对标签进行平滑处理，使模型在训练过程中更容易收敛，增强泛化能力。
背景介绍
提到label smoothing（标签平滑），首先介绍一下什么是hard label和soft label.
简单来说，hard label就是非1即0，不存在既可能是A也可能是B的情况，soft label则不同，它并不要求所有的“精力”全部倾向一个，允许模棱两可的状态，比如这幅画有40%的概率是猫， 60%的概率是狗。
什么时候会用到
标签平滑在机器学习或者深度学习中可以看作是一种正则化的技巧。它能提高分类任务中模型的泛化性能和准确率，缓解数据分布不平衡的问题。
为什么说能提高模型的泛化性能和准确率呢，我们需要从公式角度出发理解：
对于hard label的情况，softmax之后输出的结果为：
可以看出，如果要想损失的loss为0，那么极限条件就是让正样本的输出值为1，负样本的输出值为0，而要想达到负样本的概率为0，
最低0.47元/天 解锁文章
408
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
