论文浅尝 | 基于预训练语言模型的简单问题知识图谱问答

笔记整理：刘赫，天津大学硕士

链接：https://doi.org/10.1007/s11280-023-01166-y

动机

大规模预训练语言模型(PLM)如BERT近取得了巨大的成功，成为自然语言处理(NLP)的一个里程碑。现在NLP社区的共识是采用PLM下游任务的骨干。在最近关于知识图谱问答(KGQA)的研究中，BERT或其变体在他们的KGQA模型中已经成为必要。然而，对于不同PLMs在KGQA中的性能，目前还缺乏全面的研究和比较。为此，本研究总结了两个基于PLM额外的神经网络模块的基本KGQA框架，以比较9种PLM性和效率方面的性能。此外，本研究在流行的SimpleQuestions基准测试的基础上提出了三个大规模kg的基准测试，以研究PLM展性。本研究仔细分析了所有基于PLMs的KGQA基本框架在这些基准和另外两个流行的数据集(WebQuestionSP和FreebaseQA)上的结果，发现PLMs中的知识蒸馏技术和知识增强方法对KGQA很有前景。最后，本研究测试了ChatGPT，它在NLP社区中引起了很大的关注，展示了它在零样本KGQA中的令人印象深刻的功能和局限性。

亮点

本文的亮点主要包括：

（1）第一次尝试全面研究各种PLM在KGQA任务中的整体性能。总结提出了两种基本的知识图谱