基于大型语言模型的学术知识图谱问答

○ 这篇论文介绍了一种基于大型语言模型（LLM）的学术知识图谱问答（KGQA）方法。

○ 该方法通过BERT-based句子编码器识别与给定测试问题相关的前n个相似训练问题，并检索它们对应的SPARQL。

○ 使用前n个相似的问题-SPARQL对作为示例并与测试问题一起创建一个提示，然后将提示传递给LLM生成一个SPARQL。

○ 最后，将SPARQL在底层KG - ORKG（Open Research KG）终端上运行，并返回一个答案。

○ 该系统在Scholarly-QALD-23的挑战基准之一SciQA上取得了99.0%的F1分数。

1. 这项工作的目的是什么？ 回答：本文的目的是介绍一种学术知识图谱问答（KGQA）模型，该模型利用大型语言模型（LLM）以少量训练样本的方式回答文献自然语言问题。

2. 学术KGQA模型的现有方法可以分为哪两类？ 回答：学术KGQA模型的现有方法可以分为检索-推理框架和语义分析框架两类。

3. 为什么学术KGQA比其他通用KGQA更具挑战性？ 回答：学术KGQA更具挑战性的原因是学术KGQA数据集的稀缺性，使得该任务比其他通用KGQA更加困难。

4. 如何利用LLMs来解决学术KGQA的问题？ 回答：本文中的学术KGQA模型利用LLMs以零或少量训练样本的方式来生成SPARQL查询，并通过对底层知识图谱进行查询得到答案。

5. 为什么在生成SPARQL查询时需要采用prompt的方式？ 回答：生成SPARQL查询时采用prompt的方式是为了通过提供一些类似的问题-SPARQL对和测试问题来引导LLMs学习并生成准确的SPARQL查询。

6. 在SciQA挑战中，该系统取得了多少的F1分数？ 回答：在SciQA挑战中，该系统取得了99.0%的F1分数。

7. 为什么使用更多的类似问题-SPARQL对并不一定能提高模型的性能？ 回答：使用更多的类似问题-SPARQL对可能导致训练的问题与测试问题的相似度降低，从而使LLMs产生不正确的SPARQL查询。

8. 在模型中遇到的错误主要有哪些类型？ 回答：模型中遇到的错误主要有语法错误、关键词匹配错误和对问题理解不足。

9. 该模型的性能是否受到空答案集的影响？ 回答：是的，该模型的性能受到空答案集的影响，其中一些问题的空答案集可能是由于语法错误导致的。

10. 该模型相对于其他参与SciQA挑战的模型有什么优势？ 回答：相对于其他参与SciQA挑战的模型，该模型具有接近1的性能，并且在使用少量训练样本的情况下可以生成准确的SPARQL查询。

论文链接：https://arxiv.org/abs/2311.09841.pdf