1. 数据集概述
QALD是一系列关于在关联数据上回答问题的评估活动, 其使用的知识库是DBpedia。QALD是一个开放的挑战,它针对的是在用户(用自然语言表达他或她的信息需求)和结构化(特别是RDF)数据之间进行交互(mediate)的所有系统。我们的目标是得到一个最先进的系统的优点和缺点,以及了解如何开发方法处理数据量巨大的RDF数据,这些数据分布在不同的数据集,并且是异构的,有噪音的,有时甚至不一致。
任务
参与者的一般任务如下:给定一个或几个RDF数据集和自然语言问题,返回正确的答案或检索这些答案的SPARQL查询。
2. 模型性能比较
模型(年份) | F1 | 论文 | 代码链接 |
NSQA(2020) | 45.33 | Question Answering over Knowledge Bases by Leveraging Semantic Parsing and Neuro-Symbolic Reasoning |
模型(年份) | F1 | 论文 | 代码链接 |
rank query graph(2019) | 0.28 | Learning to Rank Query Graphs for Complex Question Answering over Knowledge Graphs | GitHub - AskNowQA/KrantikariQA: An InformationGain based Question Answering over knowledge Graph system. |
模型(年份) | F1 | 论文 | 代码链接 |
STF(2018) | 0.8 | A State-transition Framework to Answer Complex Questions over Knowledge Base | |
NFF(2018) | 0.78 | Answering Natural Language Questions by Subgraph Matching over Knowledge Graphs |
模型(年份) | F1 | 论文 | 代码链接 |
SubQG(2019) | 0.624 | Leveraging Frequent Query Substructures to Generate Formal Queries for Complex Question Answering | http://ws.nju.edu.cn/SubQG/ |
后续将持续更新,欢迎大家评论补充~