读论文笔记1：Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks

最新推荐文章于 2025-10-17 17:38:33 发布
原创 最新推荐文章于 2025-10-17 17:38:33 发布 · 479 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#自然语言处理 #bert #nlp

初读论文，不准确之处敬请谅解，欢迎指正

参考文献：[Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks](https://aclanthology.org/2022.acl-short.97) (Wu et al., ACL 2022)

一.生词：

low-resource regime        低资源状态

data augmentation        数据增强

alleviate overfitting        缓解过拟合

semantically        语义

context augmentation        语境

LTSM        长短期记忆

sampling        采样

MLM        屏蔽语言模型

bi-directional        双向

contextual-compatible        上下文兼容

word embedding matrix        词的矩阵嵌入

sentiment classification        情感分类

supervision        监督

interpolate        插入

interpolati

最低0.47元/天 解锁文章
【ACL 2022】Text Smoothing：针对文本分类任务的数据增强方法
PsyQuant
11-28 1861
数据增强一直都是CV、NLP领域广泛应用的技术，尤其是在数据资源极少的情况下。简单来说，就是扩充训练集的规模来缓解过拟合的问题，提高深度神经网络的鲁棒性。在NLP领域，数据增强的方法通常有: 1）对文本进行增删改；2）回译（翻译到一种语言再翻译回来）；3）通过 dropout；4）mixup 技术等。Text Smoothing（文本平滑）。论文：《》数据增强省时省力，如果能够模拟出接近真实样本的分布，确实不失为一种好方法。
目标检测经典论文——YOLOv4论文翻译：YOLOv4: Optimal Speed and Accuracy of Object Detection（YOLOv4: 目标检测最优速度和精度）
bigcindy的博客
08-01 7596
YOLOv4: Optimal Speed and Accuracy of Object Detection YOLOv4: 目标检测最优速度和精度 Alexey Bochkovskiy* alexeyab84@gmail.com Chien-Yao Wang* Institute of Information Science Academia Sinica, Taiwan kinyiu@iis.sinica.edu....
Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks文献翻译
yingdajun的博客
05-12 864
摘要: 在进入神经网络之前，一个token一般会转换成对应的onehot表示，这是词汇表的离散分布。平滑表示是从预训练的掩码语言模型中获得的候选标记的概率，可以看作是对 one-hot 表示的信息更丰富的替代。我们提出了一种有效的数据增强方法，称为文本平滑，通过将句子从其单热表示转换为可控平滑表示。我们在资源匮乏的情况下在不同的基准上评估文本平滑。实验结果表明，文本平滑在很大程度上优于各种主流数据增强方法。此外，文本平滑可以与那些数据增强方法相结合，以获得更好的性能。 1.介绍 数据增强是一种广泛使用的技术
ACL'22 | 快手+中科院提出一种数据增强方法：Text Smoothing，非常简单且有效尤其在数据不足的情况下...
zenRRan的博客
04-28 1210
每天给你送来NLP技术干货！论文：Text Smoothing: Enhance Various Data Augmentation Methods on Text Classification Tasks录取：ACL2022链接：https://arxiv.org/pdf/2202.13840.pdf大家都知道，数据增强的方法有很多，比如EDA方法(增删改插)，回译(B...
[ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法
shawroad的博客
08-31 1485
论文链接: https://arxiv.org/abs/2202.13840。
第14次周报
qq_35608850的博客
02-19 293
本周学习了一篇文章，该文章提出了一种有效的数据增强方法–text smoothing，它主要是把句子从独热编码的表示转换为可控的平滑表示。在缺乏数据的情况下表明，text smoothing的性能大大优于各种主流数据增强方法。此外，text smoothing可以进一步与各种数据增强方法相结合，以获得更好的性能。本周因为考试耽误了不少时间，下周会继续深入研究时序模型和阅读NLP相关论文。
【Data Augmentation】: The Application of GANs in Data Augmentation: The Secret to Enhancing Machine...
# Data Augmentation: The Secret to Enhancing Machine Learning Models Using GANs Data augmentation is a critical technique in the field of machine learning, capable of boosting a model's ...
【ECCV2020】接收论文列表part1
TomRen
07-18 7227
ECCV2020 接收论文完整列表 看论文学CV
【论文精读】MELM: Data Augmentation with Masked Entity Language Modeling for Low-Resource NER
HERODING23的博客
05-13 986
一篇来自ACL2022的文章，用数据增强的方法解决低资源场景NER问题，方法独特新颖，同时结合了上下文和标签序列化，具有很强的说服力，并且数据增强的方法在任何低资源场景都适用，无论模型是小模型还是大模型。数据增强是解决低资源场景下数据稀缺的有效方案。但是在NER任务上，数据增强通常会受到token标签错位的影响，导致降低性能。本文提出将Masked Entity Language Modeling (MELM)作为低资源NER中新的数据增强框架。
【论文精读】一石二鸟：Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
小哨的博客
02-08 1079
时间序列可解释性论文精读 Two Birds with One Stone: Series Saliency for Accurate and Interpretable Multivariate Time Series Forecasting
label confusion learning to enhance text classification models
liguandong
12-02 1783
用模型“想象”出来的target来训练,可以提高分类的效果！ - 知乎LearnFromPapers系列——用模型“想象”出来的target来训练,可以提高分类的效果作者：郭必扬 时间：2020年最后一天前言：今天是2020年最后一天，这篇文章也是我的SimpleAI公众号2020年的最后一篇推文，感谢大家一…https://zhuanlan.zhihu.com/p/340930767 ...
最新综述：用于文本分类的数据增强方法
Paper weekly
07-27 1541
©PaperWeekly 原创 ·作者|王馨月学校|四川大学本科生研究方向|自然语言处理概要数据增强，即通过转换为机器学习人工创建训练数据，是跨机器学习学科广泛研究的研究领域...
论文阅读笔记：UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING
Nin7a的博客
11-18 4220
UNSUPERVISED DATA AUGMENTATION FOR CONSISTENCY TRAINING github代码地址 论文下载地址 Summary 将监督学习中常用的数据增强方式应用于半监督学习。 在图像分类中应用RandAugment方法，文本分类中使用Back-translation和Word replacing with TF-IDF方法。 提出TSA方法来处理有标签样本和...
分类数据增强论文“CutMix: Regularization Strategy to Train Strong Classifiers with Localizable Features”
Najlepszy的博客
02-12 2398
ICCV 2019的论文。
1.one-hot representation与distributed representation学习笔记
热门推荐
Elmo66的博客
12-19 1万+
词表示： 高维数据可以转换为连续的实数real valued概念向量，从而有效地从数据中捕获其潜在关系。例如，肺炎pneumonia和支气管炎bronchitis显然比肺炎和肥胖obesity更相关。在one-hot coding中，像这种不同代码之间的关系不能表示。 one-hot coding扩展： 考虑一个词表V，里面的每一个词 wi都有一个编号 i∈{1,...,|V|}，那么词 w
【数据建模 特征编码】one-hot encoding以及运用
赖德发的博客
02-09 4344
主要内容： 1、什么是one_hot编码 2、one-hot在提取文本特征上的应用 3、one_hot编码优缺点分析 一、什么是one_hot编码 one-hot 和 TF-IDF是目前最为常见的用于提取文本特征的方法。下面我们介绍下one_hot编码。 什么是one-hot编码？one-hot编码，又称独热编码、一位有效编码。其方法是使用N位状态寄存器来对N个状态进行编码，每个状态都...
深度学习与自然语言处理
haogexiaole的博客
10-15 498
核心思想：梯度下降是一种用于最小化损失函数的迭代优化算法。在深度学习的语境下，它的目标是通过调整模型的参数（权重和偏置），找到使损失函数值最小的那个参数组合。你所在的位置：代表模型当前参数值对应的损失函数值。山的地形：代表整个损失函数。山脚：代表损失函数的最小值，也就是模型的最佳参数点。你的目标：找到最快下山的路，到达山脚。梯度是一个向量（矢量），它指向函数值增长最快的方向。那么，它的反方向（负梯度方向）自然就是函数值下降最快的方向。
词向量：自然语言处理技术体系的核心基石
最新发布
2201_76024043的博客
10-17 141
准确界定词向量的技术内涵：通过算法将自然语言中的词汇映射到低维实数向量空间，使向量的距离与方向能够对应词汇的语义相似度与关联关系。
大语言模型推理本质与技术演进
言之。
10-14 978
本文系统解析了大语言模型（LLM）推理能力的本质与关键技术。核心观点认为LLM推理是"中间步骤生成"而非哲学思考，可通过工程手段优化。重点介绍了思维链提示（CoT）及其两种实现方式（少样本/零样本），对比了贪婪解码与思维链解码的差异。自洽性技术通过多路径投票显著提升结果可靠性（GSM8K准确率提升17%）。研究比较了监督微调与强化学习微调的优劣，指出RLFT是提升泛化能力的关键范式。此外，还探讨了检索增强推理、工具增强等扩展技术，并以金融问答系统为例展示了RAG+自洽性的实践方案。最后总
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值