![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Prompt
文章平均质量分 87
介绍prompt相关技术
hithithithithit
王牌飞行员会损失约11架战机。
展开
-
低资源场景下的命名实体识别
低资源下的命名实体识别主要分为两个方面,一种是in-domain下的N-way-K-shot类型的少样本,一种是cross-domain下现在资源丰富的sourc-domain上进行微调,之后再迁移到低资源的target-domain进一步微调。基于prompt的方法在少样本分类的任务中取得了不错的效果(这里的效果不错一定程度上指的是基于微调的方法需要修改模型的结构来增加新的预测类别,而prompt只需要加上新的回答词即可,因为prompt是基于LM head来预测的)。但是在token-level的任务中原创 2022-11-16 22:00:05 · 2188 阅读 · 0 评论 -
Making Pre-trained Language Models Better Few-Shot Learners
使用自然语言prompt和task demonstrations作为额外信息插入到输入文本中很好的利用了GPT-3模型中的知识。于是,本文提出少样本在小模型下的应用。我们的方法包括了基于prompt的微调,同时使用了自动生成的prompt;针对任务demonstration,我们还重新定义了一种动态和有选择地方法将其融入到上下文中。...原创 2022-08-10 15:10:21 · 412 阅读 · 0 评论 -
Prompt for Extraction? PAIE:Prompting Arguement Interaction for Event Argument Extraction
本文提出了一个有效且效率高的模型PAIE用于句子级和文档级事件要素/论元抽取(EAE),同时其在少样本的情况下的泛化性很好。本文使用了两个片段选择器去选择开始和结束位置的token,而且通过多角色prompts抓住了论元之间的交互关系并且通过bipartitematchingloss进行具有最优跨度分配的联合优化。此外,PAIE可以提出具有相同角色的多个参数,而不是传统的启发式的阈值调优。.........原创 2022-08-01 16:02:32 · 1080 阅读 · 0 评论 -
Learning How to Ask: Querying LMs with Mixtures of Soft Prompts
自然语言提示用于引导预训练语言模型执行其他得AI任务。本文通过梯度下降探索来学习提示得idea,从先前的工作获取提示或者随机初始化提示。我们的提示还包括软提示,即不一定是来自语言模型中的单词类型嵌入的连续向量。此外,对于每个任务,我们优化了混合的提示,学习哪些提示最有效,以及如何集成它们。在多个英语l语言模型和任务中,我们的方法大大优于以前的方法,这表明语言模型中的隐含的事实知识以前被低估了。此外,获得这些知识也很容易被引导:随机初始化几乎和有根据的初始化一样好。......原创 2022-08-03 16:04:45 · 521 阅读 · 0 评论 -
Paramenter-Efficient Transfer Learning for NLP
由于微调大的预训练模型很贵,且对不同的任务都需要进行针对性的微调。本文提出了适配器模块的迁移,相比微调需要优化100%的参数,适配器冻结了原始预训练模型的参数,加入了新的适配器模块,且只需要优化3%左右的参数就可以达到和微调相似的性能。.........原创 2022-08-02 15:44:45 · 564 阅读 · 0 评论