promp相关
文章平均质量分 91
卡比比比比
北邮通信工程本科,人工智能学院模式识别实验室硕士在读,NLP方向,主要研究对话方面的文本分类,NER,Slot filling等。
展开
-
In Context Learning 相关分享
随着大模型(GPT3,Instruction GPT,ChatGPT)的横空出世,如何更高效地提示大模型也成了学术界与工业界的关注,因此In-context learning的方法在NLP领域十分火热。从时间线上看,它的演变历程大约是从Prompt learning(2021年初) 到 Demonstration learning (2021年底) 再到 In-cotnext learning(2022年初),但从方法原理上,他们却有很多相似之处。原创 2023-02-09 11:20:10 · 612 阅读 · 1 评论 -
【ACL2022】Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text
原文链接: https://arxiv.org/abs/2108.02035本文参考了舍友的一篇知乎链接:https://zhuanlan.zhihu.com/p/398009000intro这是一篇清华刘知远老师组在arxiv上放出来了Prompt-tuning相关的新工作,本文是promp应用于文本分类的一篇工作,应用一种基于外部知识库的 prompt tuning(knowledgeable prompt tuning,简称kpt),KPT包含以下三个步骤:标签词的扩原创 2021-09-21 21:42:39 · 1392 阅读 · 0 评论 -
【arxiv】Few-Shot Text Generation with Pattern-Exploiting Training
原文链接:https://arxiv.org/pdf/2012.11926.pdfAbstract为预先训练好的语言模型提供简单的任务描述或自然语言提示,可以在广泛的文本分类任务产生令人印象深刻的few shot结果。在本文中,我们表明了这个潜在的想法也可以应用于文本生成任务:我们采用Pattern Exploiting Training(PET)范式,这是一种最近提出的few shot方法,用于微调文本生成任务上的生成语言模型。在几个文本摘要和标题生成数据集上,我们提出的PET的变体模型均优于强基原创 2021-09-21 17:10:52 · 361 阅读 · 0 评论