SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question

本文是LLM系列文章，针对《SGSH: Stimulate Large Language Models with Skeleton Heuristics for Knowledge Base Question Generation》的翻译。

摘要

知识库问题生成（KBQG）旨在从知识库中提取的一组三元组事实中生成自然语言问题。由于丰富的语义知识，现有的方法通过预训练的语言模型（PLM）显著提高了KBQG的性能。随着预训练技术的进步，大型语言模型（LLMs）（如GPT-3.5）无疑拥有更多的语义知识。因此，如何有效地组织和利用KBQG的丰富知识成为我们研究的重点。在这项工作中，我们提出了SGSH——一个简单有效的框架，用骨架启发式来激励GPT-3.5，以增强KBQG。该框架结合了“骨架启发式”，它提供了与每个输入相关的更细粒度的指导，以激励LLM生成最佳问题，包括问题短语和助动词等基本元素。更具体地说，我们设计了一种利用ChatGPT构建骨架训练数据集的自动数据构建策略，在此基础上，我们采用软提示方法来训练BART模型，专门用于生成与每个输入相关的骨架。随后，骨架启发式算法被编码到提示中，以激励GPT-3.5生成所需的问题。大量实验表明，SGSH在KBQG任务上获得了最新的最先进性能。代码现在可以在