CCKS-IJCKG2024评测｜山西大学和爱丁堡大学联合推出Text-to-SQL评测

简介

Text-to-SQL任务旨在将自然语言问题转换为可执行的SQL语句，该任务在学术界和工业界都受到了广泛的关注。目前已有的一些方法在现有的一些评估基准上已经取得了不错的效果，但仍然无法满足进行数学、常识和假设等复杂的推理需求。为此，山西大学和爱丁堡大学联合推出了Archer，一个包含了以上三种推理类型的数据集，来进行更加复杂和微妙的查询。此外，我们使用大语言模型和微调过的模型进行了测试，即使是在已有数据集上取得SOTA的方法，在我们的数据集上仍然只有低于20%的执行准确率，说明Archer对目前的模型和技术来说，仍然是一个具有挑战性的数据集。

任务及数据集介绍

Archer是一个双语的Text-to-SQL评测基准，三种推理类型如下所示：

我们使用我们使用两个指标来评估模型的能力：VAlid SQL (VA) and EXecution accuracy (EX). VA是预测的SQL语句中成功执行的比例，无论答案正确与否。EX是预测的SQL语句的执行结果与标准SQL语句的执行结果相匹配的比例。

Archer由1042个中文问题、1042个英文问题和521个相应的SQL查询组成，涵盖了20个领域的20个不同的数据库。本次评测使用了8个数据库作为训练集，2个数据库作为验证集以及10个数据库作为测试集。数据集及leaderboard地址：https://sig4kg.github.io/archer-bench/

赛程及报名方式

本次大赛为Leaderboard打榜的形式，具体时间安排如下：

报名组队时间

8月20日—9月6日

提交结果及代码时间

9月10日

评测论文

9月15日

评测颁奖

9月19日—9月22日

注意：请注意，我们允许每个团队在评测时间内提供最多2个checkpoint和3-4个提交。此外，每次提交最多只能选择2个首选结果进行更新。

报名方式：（邮件报名，需要发送：队长、队员、队伍名称、指导老师、所属机构、联系方式和队长邮箱等相关信息，报名地址：zhichaoyan@foxmail.com）

参赛群：请用微信扫描以下二维码进群，如若二维码失效，请邮件联系获取最新二维码。

奖励设置

本次任务总奖金池为10000元，奖金设置如下：

• 第一名：人民币5000元，1名

• 第二名：人民3000元，1名

• 第三名：人民币1000元，2名

任务组织者和联系人

任务组织者

• Jeff Pan, 爱丁堡大学

• 闫智超，山西大学

• Wenyu Huang, 爱丁堡大学

学术指导组

• Jeff Pan, 爱丁堡大学

• 李茹，山西大学

• Mirela Lapata, 爱丁堡大学

任务联系人

• 闫智超（zhichaoyan@foxmail.com）

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。