【论文笔记】OPTIPROMPT：用prompt提取预训练模型中的客观事实

最新推荐文章于 2023-04-26 19:39:15 发布

iLuz

最新推荐文章于 2023-04-26 19:39:15 发布

阅读量2k

点赞数 4

文章标签：自然语言处理机器学习深度学习

本文链接：https://blog.csdn.net/weixin_43214867/article/details/122157199

版权

OPTIPROMPT是通过在连续空间中优化prompt来更有效地提取预训练模型中的客观事实。相比人工设计的模版，它在不微调所有参数的情况下，仅优化prompt参数，提升了事实推理任务的准确性。研究表明，prompt长度增加能提升模型性能，且prompt学习到了训练集中的关系分布。

摘要由CSDN通过智能技术生成

引言

像 BERT 这样的预训练模型学习了大规模语料的词分布，同时也学习了语料中的客观事实。基于这样的直觉，Petroni et al. (2019) 提出 LAMA 模型，首次从 BERT 中以完形填空的方式提取客观事实，探究语言模型中包含多少客观知识。他们将 BERT 的准确度看作预训练模型含客观事实的比例的下界。
事实推理任务（Factual Probing）被定义为三元组 (subject, relation, object) + 表示关系的人工设计模版 prompt。例如，(Dante, place_of_birth, Florence) + [X] was born in [Y] 可以生成带掩码的句子 “Dante was born in [MASK]”，作为 BERT 的输入。在这里，事实推理任务就是预测 [mask]。Prompt 可抽象为
之后的一系列工作都着力于改进 prompt ，期望在不微调所有参数，只微调 prompt 参数的情况下，最大限度地提取预训练模型中包含的客观事实。Jiang et al. (2020) 提出 LPAQA 模型，用文本挖掘和改写寻找最优模版；Shin et al. (2020) 提出 AUTOPROMPT 模型，将 $V]_i$ 设置为词表中的任意词，在词表中搜索最大化期望概率的词组合。本文主要介绍的是2021年4月陈丹绮女神发表的工作 OPTIPROMPT——将 $V]_i$