生成式预训练语言模型能否视作闭卷问答的知识库？

Python微信订餐小程序课程视频

https://edu.csdn.net/course/detail/36074

Python实战量化交易理财系统

https://edu.csdn.net/course/detail/35475
©原创作者 | 朱林

论文解读：

Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA?

论文作者：

Cunxiang Wang, Pai Liu, Yue Zhang

论文地址：

https://aclanthology.org/2021.acl-long.251.pdf

收录会议：

ACL2021

代码和数据集：

https://github.com/wangcunxiang/Can_PLM_Server_as_KB

01 背景

图1 预训练语言模型

BERT、GPT等大型预训练语言模型（Pre-trained Language Model, PLM）显著提高了各种自然语言处理（NLP）任务的性能。

越来越多的证据表明PLM中蕴含着大千世界丰富的知识，故最新的实验研究着重探究“LM as KB”的范式，即直接生成语言模型作为知识库（Knowledge Base, KB）来解决问题。

图2 LM直接完成闭卷问答任务

本文探讨的就是是否可以用PLM作为KB来完成闭卷问答（Closed-book QA）任务。该任务是一项极具挑战性的任务，它需要一个模型能直接回答问题，而无需访问外部知识。

形式上如图2所示，输入问题q，输出词序列o，同时将正确答案g与输出结果o进行比较来评估模型准确性。