#今日论文推荐#ACL2022 | KPT: 文本分类中融入知识的Prompt Verbalizer

最新推荐文章于 2023-08-22 16:48:02 发布
最新推荐文章于 2023-08-22 16:48:02 发布
阅读量271 收藏
点赞数
分类专栏： 深度学习 文章标签： 深度学习 机器学习 人工智能
原文链接：https://www.aminer.cn/research_report/62b98bd87cb68b460fdcf460
版权

#今日论文推荐#ACL2022 | KPT: 文本分类中融入知识的Prompt Verbalizer

利用Prompt Learning（提示学习）进行文本分类任务是一种新兴的利用预训练语言模型的方式。在提示学习中，我们需要一个标签词映射（verbalizer），将[MASK]位置上对于词表中词汇的预测转化成分类标签。例如{POLITICS: "politics", SPORTS: "sports"} 这个映射下，预训练模型在[MASK]位置对于politics/sports这个标签词的预测分数会被当成是对POLITICS/SPORTS这个标签的预测分数。
手工定义或自动搜索得到的verbalizer有主观性强覆盖面小等缺点，我们使用了知识库来进行标签词的扩展和改善，取得了更好的文本分类效果。同时也为如何在Prompt Learning下引入外部知识提供了参考。

论文题目：Knowledgeable Prompt-tuning:Incorporating Knowledge into Prompt Verbalizer for Text Classification
详细解读：https://www.aminer.cn/research_report/62b98bd87cb68b460fdcf460icon-default.png?t=M5H6https://www.aminer.cn/research_report/62b98bd87cb68b460fdcf460
AMiner链接：https://www.aminer.cn/?f=cs

wwwsxn
关注
专栏目录
【调研】基于Prompt的小样本文本分类调研：PET,LM-BFF,KPT,PTR
vector的博客
02-15 2670
本篇博客一共要分享四篇prompt论文，它们分别提出了四个模型。在此之前，会先来回顾一下prompt第四范式的一些基础知识。 这里写目录标题????Prompt 回顾预测步骤研究重点????模型一：PET：Pattern-Exploiting Training动机PVPPVP组合模型iPET实验????模型二：LM-BFF：Better Few-shot Fine-tuning动机Lable Word生成Prompt生成in-context实验????模型三：KPT：Knowledgeable Prompt
Prompt-Tuning——深度解读一种新的微调范式
热门推荐
夏栀的博客
11-19 7万+
Prompting——深度解读一种全新的微调范式   自从GPT、EMLO、BERT的相继提出，以Pre-training + Fine-tuning 的模式在诸多自然语言处理（NLP）任务中被广泛使用，其先在Pre-training阶段通过一个模型在大规模无监督语料上预先训练一个预训练语言模型（Pre-trained Language Model，PrLM），然后在Fine-tuning阶段基于训练好的语言模型在具体的下游任务上再次进行微调（Fine-tuning），以获得适应下游任务的模型。这种模式在诸
清华大学刘知远组：文本分类任务中，将知识融入Prompt-tuning过程
Paper weekly
08-13 1477
©作者|刘兴贤学校|北京邮电大学硕士生研究方向|自然语言处理前两天看到刘知远老师组在 arxiv 上放出来了 Prompt-tuning 相关的新工作，这篇文章是将外部知识融入...
【论文分享】KPT:Knowledgeable Prompt-tuning:Incorporating Knowledge into Prompt Verbalizer for Text Classi
vector的博客
01-26 2437
论文链接：https://arxiv.org/pdf/2001.07676.pdf 时间：2021年8月 特点：改善答案映射，使用手工模板 目录背景模型Verbalizer ConstructionVerbalizer RefinementVerbalizer Utilization实验 背景 手工制作的一对一的答案映射器verbalizer限制了标签词的覆盖范围，导致预测结果不够准确 比如：模板【The speed of light is greater than that of sound，it.
Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
qq_42393368的博客
12-21 1301
【摘要】 用特定任务prompt，在基于预训练语言模型在上进行微调在文本分类任务上已经显示效果很好。特别，最近的研究发现在小样本场景上的效果尤为突出。Prompt turning的核心是插入文本片段，也叫作template。将原来的分类问题转化为掩码语言模型问题。其中一个关键的步骤是在标签集合和标签词之间做一个映射，或者叫做verbalizer。一个verbalizer经常是手工设计或者基于梯度下降法搜索，这些方法可能不容易收敛，并且会给结果带来大的偏差和高的方差。在本文中，我们把外部知识引入...
【ACL2022】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text
dongguanting的博客
09-21 1438
原文链接: https://arxiv.org/abs/2108.02035 本文参考了舍友的一篇知乎链接：https://zhuanlan.zhihu.com/p/398009000 intro 这是一篇清华刘知远老师组在arxiv上放出来了Prompt-tuning相关的新工作，本文是promp应用于文本分类的一篇工作，应用一种基于外部知识库的 prompt tuning（knowledgeable prompt tuning，简称kpt）, KPT包含以下三个步骤： 标签词的扩
PyPI 官网下载 | kpt-0.0.2.tar.gz
01-28
标题中的"PyPI 官网下载 | kpt-0.0.2.tar.gz"表明这是一个在Python Package Index（PyPI）官方源上发布的软件包，名为`kpt`，版本为`0.0.2`，并且以`.tar.gz`格式提供。这种格式通常用于在Unix-like系统中存储和分发...
"知识化提示调整的文本分类方法
+v：mala2277获取更多论文知识渊博的调试：将知识转化为文本分类提示动词胡胜定1、3，丁宁1、3，王华东1、3，李志远1、2、3，李娟子1、2，孙茂松1、2、31计算机科学与技术系，2人工智能研究所3清华大学智能技术与...
KPT:跟踪汉字写作实践的应用程序。 这次使用C＃和UI！
03-05
《KPT：C#与UI实现的汉字书写追踪应用程序详解》 KPT，全称可能是“汉字笔画追踪”（Kanji Practice Tracker），是一款专为汉字书写练习者设计的应用程序。这款应用巧妙地结合了C#编程语言和用户界面（UI）设计，...
【提示学习】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classific
十一月廿七风雨大作
04-15 3335
文章思路是数据增强+去噪，不过数据增强在于verbalizer对于label space至expanding word space的映射，引入外部的扩展标签词集，辅助分类，去噪并不新颖，就是在细化两个场景，zeroshot滤掉扩展标签词集的低频词，并上下文校验。文章主打的是，以前的工作中，增强的都是类标签的同义词，而作者自己增强的是多粒度的、多方面的。：KBs中的标签词没经过训练，会存在一个标签词对多个类别都有很大贡献的情况，文章设计了一种相关性计算方法，会在标签词集合里面删除相关性小于1的词。
论文解读：Knowledgeable Prompt-tuning: Incorporation Knowledge into Prompt Verbalizer for Text Classifica
夏栀的博客
10-16 3005
论文解读：Knowledgeable Prompt-tuning: Incorporation Knowledge into Prompt Verbalizer for Text Classification   在预训练语言模型上使用与任务相关的prompt进行微调已经成为目前很有前途的方法。先前的研究表明了在小样本场景下采用基于prompt-tuning的效果比传统通过添加分类器的微调更有效。Prompt的核心思想是添加额外的上下文（即模板template），并一同与输入句子喂入语言模型中，并将分类任务
论文阅读《Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classific》
Jiawen9的博客
08-07 697
prompt主题分类情感分类-ACL-2022
#今日论文推荐# ACL 2022 | KPT: 文本分类中融入知识的Prompt Verbalizer
w1hsxn的博客
06-20 179
本文提出的基于知识库的扩展，直观有效。
[ACL2022] Text Smoothing: 一种在文本分类任务上的数据增强方法
shawroad的博客
08-31 1347
论文链接: https://arxiv.org/abs/2202.13840。
AAAI 2022 | 可解释和鲁棒的联合文本分类及证据提取
Paper weekly
03-17 1098
论文标题：Unifying Model Explainability and Robustness for Joint Text Classification and Rationale ...
【ACL 2022】Text Smoothing：针对文本分类任务的数据增强方法
PsyQuant
11-28 1585
数据增强一直都是CV、NLP领域广泛应用的技术，尤其是在数据资源极少的情况下。简单来说，就是扩充训练集的规模来缓解过拟合的问题，提高深度神经网络的鲁棒性。在NLP领域，数据增强的方法通常有: 1）对文本进行增删改；2）回译（翻译到一种语言再翻译回来）；3）通过 dropout；4）mixup 技术等。Text Smoothing（文本平滑）。论文：《》数据增强省时省力，如果能够模拟出接近真实样本的分布，确实不失为一种好方法。
总结 | ACL2022主会论文分类整理
04-25 1万+
大家好，我是对白。ACL 2022是CCF A类会议，人工智能领域自然语言处理（Natural Language Processing，NLP）方向最权威的国际会议之一。第60届计算语言学协会计划于今年5月22日-5月27日在爱尔兰都柏林召开。本文对ACL 2022接受列表中的的602篇主会长文论文，按不同的研究主题进行分类整理（分类标准参考 ACL 官方投稿主题），整理过程中难免有疏漏，欢迎大家在下方评论留言，交流探讨！论文列表已经同步更新到 GitHub，欢迎大家关注和 Star。目录Adversari
An Effective Deployment of Contrastive Learning in Multi-label Text Classification (ACL2023)
最新发布
hello world
08-22 278
对比学习技术在自然语言处理任务中的有效性还有待探索和分析。如何正确合理地构建正反样本是对比学习的核心挑战。在多标签文本分类任务中发现对比对象甚至更难。以前的工作中提出很少提出对比损失。在本文中，我们从一个不同的角度研究这个问题，提出了五个新的对比损失的多标签文本分类任务。分别是严格对比损失(SCL)标签内对比损失(ICL)Jaccard相似性对比损失(JSCL)Jaccard相似性概率对比损失(JSPCL)逐步标签对比损失(SLCL)。
神经网络dw_conv_kpt: True解释
05-29
在神经网络中，dw_conv_kpt可能表示一个参数或者模块，True则可能表示该参数或者模块的启用状态为真。dw_conv_kpt可能是Depthwise Convolutional Key-Point Transform的缩写，表示深度可分离卷积关键点变换。这个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值