Knowledgeable Prompt-tuning: Incorporating Knowledge into Prompt Verbalizer for Text Classification
1 标题+作者KPT,将知识引入Prompt Verbalizer 处理文本分类任务,清华大学2 摘要在低数据场景下,Prompt-tuning(PT)比fine-tuning(FT)效果好,PT将分类问题转为带掩码的语言模型问题,关键就在于如何构建一个verbalizer实现标签空间到标签词空间的映射。现有的verbalizer大多由人工构建或者基于梯度下降进行搜索得到,不足在于标签词的覆盖范围小、存在巨大的偏差(bias) 。KPT通过引入额外的知识扩展标签词空间,为了更好的利用知识利用PLM重
原创
2022-03-10 00:17:46 ·
4284 阅读 ·
0 评论