An Empirical Study of Pre-trained Language Models in Simple Knowledge Graph Question Answering

UnknownBody

于 2023-09-04 13:52:08 发布

阅读量123

点赞数

分类专栏： Knowledge Graph 文章标签：语言模型知识图谱人工智能

本文链接：https://blog.csdn.net/c_cpp_csharp/article/details/132667456

版权

Knowledge Graph 同时被 2 个专栏收录

71 篇文章 10 订阅 ¥99.90 ¥299.90

订阅专栏

LLM 日更

516 篇文章 3 订阅

已下架不支持订阅

本文研究预训练语言模型（PLM）如BERT在知识图谱问答（KGQA）任务中的性能，对比了九个PLM在准确性和效率上的表现。在多个基准测试中，Roberta和知识增强模型Luke、Kepler表现最佳。轻量级模型DistilBert和DistilRoberta在效率和可扩展性上有优势，而ChatGPT在零样本KGQA中表现出色但存在局限性。未来工作将扩展到多跳复杂KGQA并进一步研究知识蒸馏和增强技术。

摘要由CSDN通过智能技术生成

本文是LLM系列文章，针对《An Empirical Study of Pre-trained Language
Models in Simple Knowledge Graph Question Answering》的翻译。

摘要

大规模的预训练语言模型（PLM），如BERT，最近取得了巨大的成功，成为自然语言处理（NLP）的一个里程碑。现在，NLP社区的共识是采用PLM作为下游任务的骨干。在最近关于知识图谱问答（KGQA）的工作中，BERT或其变体在其KGQA模型中已成为必要的。然而，在KGQA中，仍然缺乏对不同PLM性能的全面研究和比较。为此，我们总结了两个基于PLM的基本KGQA框架，没有额外的神经网络模块，以比较九个PLM在准确性和效率方面的性能。此外，我们在流行的SimpleQuestions基准测试的基础上，为更大规模的KG提供了三个基准测试，以研究PLM的可扩展性。我们仔细分析了所有基于PLM的KGQA基本框架在这些基准测试和其他两个流行数据集WebQuestionSP和FreebaseQA上的结果，发现PLM中的知识蒸馏技术和知识增强方法对KGQA来说是有前景的。此外，我们测试了ChatGPT，它在NLP社区引起了很大的关注，展示了它在零样本KGQA中令人印象深刻的能力和局限性。我们发布了代码和基准测试&#x

了解本专栏