label smooth标签平滑【ConvE（知识图谱补全-链接预测）中使用到】

已于 2024-02-14 22:29:07 修改
阅读量531 收藏
点赞数
分类专栏： 知识图谱（Knowledge Graph） 文章标签： 知识图谱 人工智能
于 2022-08-12 09:10:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/126290077
版权
本文探讨了标签平滑（Label Smooth）作为深度学习正则化技巧的作用，它能提升模型的泛化能力和准确率，尤其在处理数据不平衡问题时效果显著。在最近的NLP竞赛中，作者通过应用标签平滑提高了比赛成绩。博客将深入讲解标签平滑的数学原理和直观解释，并讨论最新研究中可能的改进方法。
摘要由CSDN通过智能技术生成

今天我们来聊一聊label smooth这个tricks，标签平滑已经成为众所周知的机器学习或者说深度学习的正则化技巧。标签平滑——label smooth regularization作为一种简单的正则化技巧，它能提高分类任务中模型的泛化性能和准确率，缓解数据分布不平衡的问题，同时在模型蒸馏中可见它的身影。在最近的2个月3个NLP算法比赛的实战中，label smooth也作为一种炼丹术被我用来提高比赛的成绩。那为啥label smooth有效呢？怎么来解释这个现象呢？那么我们就在这篇博客中一起学习一下label smooth的数学原理以及宏观角度的解释，最后看看最近的论文中有没有更好的label smooth方法。

参考资料：
label smooth标签平滑的理解

u013250861
关注
专栏目录
订阅专栏
label smooth详解
实践出真理
02-02 246
也就是说，若label=[0,0,1,0,0,0]，那么N=5（这里label包含了背景类，所以有6维）。若定义$\epsilon=0.1$，那么带入上面公式就可以得到，平滑后的label为[0.02，0.02，0.9，0.02，0.02，0.02]。如果使用硬标签，那么当有标注错误的样本时，会产生较大的损失，而软标签则可以对于这些噪声样本产生抑制，防止其产生较大的损失。通常情况下的标签都是[0,0,1,0,0,0]这种非常极端的约束，为了缓和label对网络的约束，提高模型的。泛化能力，减少过拟合。
YOLOv5系列(三十一) 本文(1.5万字) | 标签平滑(Label Smoothing) | Focal Loss损失函数 | 学习率预热Warmup |
最新发布
weixin_44302770的博客
12-28 1416
标签平滑也可以称之为标签平滑归一化：Label Smoothing Regularization (LSR)，通常应用于文本分类任务，像L2和 dropout 等一样，它是一种正则化的方法，只不过这种方法是通过在 label 中添加噪声，从而实现对模型的约束。目的是防止模型在训练时过于自信地预测标签，防止过拟合，提高模型的泛化能力。有关标签可以参考如下论文（在机器学习模型中，对于每一个样本的预测值与真实值的差称为损失。显而易见，是一个用来计算损失的函数。
LabelSmooth
雄关漫道真如铁 而今迈步从头越
07-08 5050
LabelSmooth   一种通过简单修改类别标签实现的分类问题优化方法，整理这个的同时我也明白了为什么使用交叉熵来做分类问题，很有收获。 1−ϵ，i=y1 - \epsilon，i=y1−ϵ，i=y ϵK−1，i≠y\frac{\epsilon}{K-1}，i \not= yK−1ϵ​，i​=y Agile Pioneer   Cross Entropy   我们在刻画两个分布间的距离时候经常使用交叉熵，至于为什么使用交叉熵而不是使用均方误差，我之前也有疑问，自从看了大神的论证才豁..
label smoothing(标签平滑)学习笔记
taoqick的专栏
12-05 912
label smoothing是一种在分类问题中，防止过拟合的方法。 交叉熵损失函数在多分类任务中存在的问题 多分类任务中，神经网络会输出一个当前数据对应于各个类别的置信度分数，将这些分数通过softmax进行归一化处理，最终会得到当前数据属于每个类别的概率。 然后计算交叉熵损失函数： 训练神经网络时，最小化预测概率和标签真实概率之间的交叉熵，从而得到最优的预测概率分布。最优的预测概率分布是： 神经网络会促使自身往正确标签和错误标签差值最大的方向学习，在训练数据较少，不足以表征所有的样
Label Smoothing是提高模型精度的一种手段
如果想成为中心，那么就到中心去吧。
02-28 947
1.前言 图像分类的任务是从一组固定的类别中为输入图像分配一个标签。这是计算机视觉的核心问题之一，尽管它很简单，但却有大量的实际应用。 例如，在下面的图像中，一个图像分类模型接受一个图像，并将概率分配给两个标签，{cat, dog}。如图所示，请记住，对于计算机来说，图像是由一个大的三维数字数组表示的。 在本例中，cat图像为248像素宽，400像素高，有红、绿、蓝(或简称RGB)三种颜色通道。因...
label smooth的理解
qxqsunshine的博客
09-09 1万+
0. label smoothing的选择 label smoothing的选择 label smoothing是一种正则化的方式，全称为Label Smoothing Regularization(LSR)，即标签平滑正则化。 在传统的分类任务计算损失的过程中，是将真实的标签做成one-hot的形式，然后使用交叉熵来计算损失。而label smoothing是将真实的one hot标签做一个标签平滑处理，使得标签变成又概率值的soft label.其中，在真实label处的概率值最大，其他位置的概率
知识图谱-KGC(推理补全/链接预测)：“知识图谱补全”术语【知识图谱补全、三元组分类、链接预测】
u013250861的博客
11-18 3947
一方面，现有的数据集对已有知识进行随机划分，得到训练集和测试集，这样并不能保证测试的新知识确实可以通过训练时已有的知识得到。（2）测试的知识可以是正确的，错误的，也可以是不确定。可以看到，模型从已有知识（贝多芬，职业，钢琴家）和（贝多芬，乐器，钢琴）中归纳出可靠的规则：钢琴家的乐器是钢琴，再通过（Bob，职业，钢琴家）演绎出新知识（Bob，乐器，钢琴），对知识图谱缺失的边进行了补全。那么，在判断新知识的时候，可以直接使用对应的实体和关系向量，对三元组进行打分，分数的高低反应该条知识的正确概率。
知识图谱-KGE(Knowledge Graph Embedding)：概述【将知识图谱中的实体、关系进行Embedding表示】【KGE下游应用任务：链接预测、实体分类、KGQA、推荐系统】
u013250861的博客
09-06 1613
知识图谱嵌入(Knowledge Graph Embedding, KGE)学习知识库中的实体和关系的Embedding表示，是语义检索、知识问答、推荐等众多应⽤的基础研究。在具体了解KGE之前，我们先来看知识图谱是什么，为什么又要做知识图谱嵌入呢。如下图所示，知识图谱是由大量的事实三元组组成，如（英国, 首都, 伦敦）便是真实世界中的知识，可用(h,r,t)进行表示，其中h,t表示头尾实体，r表示关系。
标签编辑软件LabelSoft
07-16
LabelSoft是一款条码标签编辑、打印软件。它的主要功能是进行条形码标签的设计输出，支持多种专业条码打印机和普通打印机，支持多种常用的一、二维条码，支持序列号、数据库等功能。
LabelSoft_3.84标签、条形码、RFID编码设计和打印软件
12-30
这个软件很小巧,使用很方便,它的主要功能就是:类似于BarTender,这个软件使用上更简单些.最主要是可以动态生成二维码.
知识图谱-KGE-模型：概述【翻译模型：Trans系列】【双线性模型：DisMult、ComplEx】【神经网络模型：ConvE、CapsE】【双曲几何模型：MuRP】【旋转模型：RotatE】
u013250861的博客
11-24 1617
MuRP评分函数为 ，其中 表示在庞加莱圆盘中计算距离， 表示将庞加莱圆盘中的点映射到欧式空间， 表示对角矩阵， 表示将欧式空间中的点转移到庞加莱圆盘中， 是莫比乌斯加法，为庞加莱空间中两向量相加， 表示曲率。针对DisMult存在的问题，ComplEx把DisMult扩展到复数空间表示，并定义评分函数为 f_{r}(h,t) = Re(h^Tdiag(M_r)\bar{t}) ，其中 h, t 均用复数表示， \bar{t} 表示 t 的共轭复数，Re(\cdot) 表示取得复数的实部。
知识补全中图卷积网络的再思考Rethinking Graph Convolutional Networks in Knowledge Graph Completion阅读笔记
自学小角落
03-20 399
外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zw3S5oC7-1679319469449)(知识补全中图卷积网络的再思考Rethinking Graph Convolutional Networks in Knowledge Graph Completion阅读笔记_files/1176069484.png)]即，KGE模型和梯度下降的组合表现得类似GCN的聚合操作，所以再单独添加聚合是不必要的，也是从原理上说明了为什么LTE-KGE性能和GCN类的KGC模型类似。
标签平滑（Label Smoothing）详解
热门推荐
ytusdc的博客
12-31 1万+
标签平滑（Label smoothing），像L1、L2和dropout一样，是机器学习领域的一种正则化方法，通常用于分类问题，目的是防止模型在训练时过于自信地预测标签，改善泛化能力差的问题。
label smooth/mixup——深度学习中的一种防止过拟合方法
J~的博客
02-10 2343
LabelSmooth 在常见的多分类问题中，先经过softmax处理后进行交叉熵计算，原理很简单可以将计算loss理解为，为了使得网络对测试集预测的概率分布和其真实分布接近，常用的做法是使用one-hot对真实标签进行编码，作者认为这种将标签强制one-hot的方式使网络过于自信会导致过拟合，因此软化这种编码方式。 等号左侧：是一种新的预测的分布 等号右侧：前半部分是对原分布乘...
label smooth标签平滑的理解
HUSTHY的博客
01-13 1万+
标签平滑的原理和作用 标签平滑的实现——训练过程中loss函数的使用 实践效果对比
深入探讨自然语言处理中的Label Smooth技术
Chaos的博客
04-11 567
在自然语言处理（NLP）领域，标签平滑（Label Smooth）是一种常用的技术，用于改善神经网络模型在分类任务中的性能。随着深度学习的发展，标签平滑在NLP中得到了广泛应用，并在众多任务中取得了显著的效果。本文将深入探讨Label Smooth技术的原理、优势以及在实际应用中的案例和代码实现。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值