KBQA 常用的问答数据集之 QALD

 QALD* 系列数据集下载

QALD* 系列数据集相关信息

1.  数据集概述

       QALD是一系列关于在关联数据上回答问题的评估活动, 其使用的知识库是DBpedia。QALD是一个开放的挑战，它针对的是在用户(用自然语言表达他或她的信息需求)和结构化(特别是RDF)数据之间进行交互(mediate)的所有系统。我们的目标是得到一个最先进的系统的优点和缺点,以及了解如何开发方法处理数据量巨大的RDF数据,这些数据分布在不同的数据集,并且是异构的,有噪音的,有时甚至不一致。

        任务

       参与者的一般任务如下:给定一个或几个RDF数据集和自然语言问题，返回正确的答案或检索这些答案的SPARQL查询。

2. 模型性能比较

各模型在数据集QALD-9上的表现

模型(年份)	F1	论文	代码链接
NSQA(2020)	45.33	Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning

各模型在数据集QALD-7上的表现

模型(年份)	F1	论文	代码链接
rank query graph(2019)	0.28	Learning to Rank Query Graphs for Complex Question Answering over Knowledge Graphs	GitHub - AskNowQA/KrantikariQA: An InformationGain based Question Answering over knowledge Graph system.

各模型在数据集QALD-6上的表现

模型(年份)	F1	论文	代码链接
STF(2018)	0.8	A State-transition Framework to Answer Complex Questions over Knowledge Base
NFF(2018)	0.78	Answering Natural Language Questions by Subgraph Matching over Knowledge Graphs	https://github.com/pkumod/gAnswer

各模型在数据集QALD-5上的表现

模型(年份)	F1	论文	代码链接
SubQG(2019)	0.624	Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering	http://ws.nju.edu.cn/SubQG/

后续将持续更新，欢迎大家评论补充~