Python微信订餐小程序课程视频
https://edu.csdn.net/course/detail/36074
Python实战量化交易理财系统
https://edu.csdn.net/course/detail/35475
©原创作者 | 朱林
论文解读:
Can Generative Pre-trained Language Models Serve as Knowledge Bases for Closed-book QA?
论文作者:
Cunxiang Wang, Pai Liu, Yue Zhang
论文地址:
https://aclanthology.org/2021.acl-long.251.pdf
收录会议:
ACL2021
代码和数据集:
https://github.com/wangcunxiang/Can_PLM_Server_as_KB
01 背景
图1 预训练语言模型
BERT、GPT等大型预训练语言模型(Pre-trained Language Model, PLM)显著提高了各种自然语言处理(NLP)任务的性能。
越来越多的证据表明PLM中蕴含着大千世界丰富的知识,故最新的实验研究着重探究“LM as KB”的范式,即直接生成语言模型作为知识库(Knowledge Base, KB)来解决问题。
图2 LM直接完成闭卷问答任务
本文探讨的就是是否可以用PLM作为KB来完成闭卷问答(Closed-book QA)任务。该任务是一项极具挑战性的任务,它需要一个模型能直接回答问题,而无需访问外部知识。
形式上如图2所示,输入问题q,输出词序列o,同时将正确答案g与输出结果o进行比较来评估模型准确性。