评测通知 | CCKS-IJCKG 2024 技术评测任务五：开放领域的知识图谱问答评测

CCKS-IJCKG 2024 组织知识图谱相关评测竞赛，旨在提供测试知识图谱与语义计算技术、算法、及系统的平台和资源，促进知识图谱领域的技术发展，以及学术成果与产业需求的融合和对接。去年，CCKS 2023评测竞赛环节共设立4个主题，7项任务，涵盖金融、电商、军事、医疗等领域，吸引了2771支队伍、近1.1万人参赛，共计35支队伍获得18万奖金，在工业界和学术界形成较高影响力。

今年，经过评测任务第一轮征集和评测组委会筛选，CCKS-IJCKG 2024目前共设10项评测任务。北京大学王选计算机研究所数据管理实验室组织的任务5：开放领域的知识图谱问答评测。

欢迎大家踊跃报名参加，奖品丰厚!

评测背景

在互联网软硬件相关技术飞速发展的今天，人们每天接触与制造的数据量日益上升，理解与应用这些数据所需的成本也随之增加。因此，如何高效而准确地处理海量异质数据成为了一个亟待解决的问题。知识图谱以结构化的“知识”来存储与表示海量数据，作为承载底层海量知识并支持上层智能应用的重要载体，它在智能时代中扮演了极其重要的角色。

然而，由于知识图谱高度结构化的特点，我们常常需要构建结构化查询语句（SPARQL等）来查找相关知识，这为普通用户使用知识图谱造成了不便。因此，在知识图谱上进行自然语言问答（KBQA）近年来成为了前者的热门应用之一。在学界，semantic parsing、IR等创新性方法与框架百花齐放；在业界，智能音箱、语音助手、智能问诊等应用也极大地拓宽了知识图谱自然语言问答的应用场景，进一步加强了对高效、准确、易用、安全、可解释的KBQA系统的需求。

需要特别强调的是，众所周知，最近横空出世的ChatGPT，以及后续跟进的大量GPT系列的工具，将自然语言对话与问答的效果提升到了新的高度。我们在内部调研时发现，ChatGPT在通用领域的效果较好，但在专用领域ChatGPT的能力还有待提高，很多时候它会输出看似头头是道实则为谬误的结果，它并不是一个100%可靠的知识库。我们认为这主要是由于在某些领域ChatGPT的训练语料并不完善导致的。而我们的评测恰恰着重考核模型同时应对通用领域和专业领域的自然语言问题的能力。除此之外，目前ChatGPT在实时性上还存在提升的空间，由于训练语料的限制，ChatGPT的回答无法马上同步最新的知识，需要在后台使用新的数据进行模型的迭代，或者将模型与搜索引擎等API结合，让其自动从外界获取新的知识。这两种方式的缺点，一是对知识图谱进行修改的代价无疑比模型本身进行迭代的代价更低，二是模型自发从搜索引擎等第三方API获取到的知识与模型本身训练使用的数据相比，其质量得不到保证。我们的评测更强调泛化能力，因此在知识图谱更新后，系统也能够输出正确的结果。无论如何，ChatGPT系列模型作为目前自然语言处理乃至人工智能研究中的掌上明珠，我们都不应该忽视，但也不能神化它。我们的团队在本次评测中也鼓励选手能从大规模语言模型的角度出发，提出自己的解决方案。

任务描述

本任务属于开放领域的中文知识图谱自然语言问答任务，简称CKBQA （Chinese Knowledge Base Question Answering）。即输入一句中文问题，问答系统从给定知识库中选择若干实体或属性值作为该问题的答案。问题均为客观事实型，不包含主观因素。理解并回答问题的过程中可能需要进行实体识别、关系抽取、语义解析等子任务。这些任务的训练可以使用额外的公开的语料资源，但是最终的答案必须来自给定的知识库。详情请见天池平台比赛页面（https://tianchi.aliyun.com/competition/entrance/532197/information）

时间安排

• 报名时间：5月15日 - 8月1日

• 初赛阶段：5月15日 - 8月1日

• 复赛阶段：8月2日 - 8月8日

• 排名通知：8月15日

• 评测论文提交：9月1日

• CCKS会议日期（评测报告及颁奖）：9月19日-22日

报名方式：阿里云天池平台(https://tianchi.aliyun.com/)将开放本次比赛的组队报名、登录比赛官网，完成个人信息注册，即可报名参赛；选手可以单人参赛，也可以组队参赛。组队参赛的每个团队不超过4人，每位选手只能加入一支队伍；

选手需确保报名信息准确有效，组委会有权取消不符合条件队伍的参赛资格及奖励；

选手报名、组队变更等操作截止时间为8月1日23：59：59；各队伍（包括队长及全体队伍成员）需要在8月1日23：59：59前完成实名认证（认证入口：天池官网-右上角个人中心-认证-支付宝实名认证），未完成认证的参赛团队将无法进行后续的比赛；

评测奖励

• 第一名 人民币10000元

• 第二名 人民币5000元

• 第三名 人民币2500元

• 技术创新奖：人民币2500元

同时获奖队伍将获授精美参赛奖牌、证书。

评审规则

1. 所有参赛选手都必须在天池平台管理系统中注册。

2. 参赛选手需确保注册时提交信息准确有效，所有的比赛资格及奖金支付均以提交信息为准。

3. 参赛选手在管理系统中组队，参赛队伍成员数量不得超过4个（不含指导老师），报名截止日期之后不允许更改队员名单（评测论文的作者名单没有此限制）。

4. 每支队伍需指定一名队长，队伍名称不超过15个字符，队伍名的设定不得违反中国法律法规或公序良俗词汇，否则组织者有可能会解散队伍。

5. 允许使用开源代码或工具，但不允许使用任何未公开发布或需要授权的代码或工具。

6. 每名选手只能参加一支队伍，一旦发现某选手以注册多个账号的方式参加多支队伍，将取消相关队伍的参赛资格。

7. 可使用外部公开数据，需要在最终提交时说明用到的数据集。

8. 可使用大模型，评测任务严禁人工标注数据，鼓励使用通用的、创新的算法、模型解决问题，不允许基于测试集或知识图谱用规则Case By Case解决问题，若发现主办方有权取消参赛资格。

9. 欢迎国内外在校生及社会在职人士参加。比赛组织方成员不可参与奖项评选。

任务组织者

邹磊 北京大学王选计算机研究所 zoulei@pku.edu.cn

林殷年 北京大学王选计算机研究所 linyinnian@stu.pku.edu.cn

张旻昊 北京大学王选计算机研究所 zhangminhao@pku.edu.cn

张若禹 北京大学王选计算机研究所 ry_zhang@pku.edu.cn

---

OpenKG

OpenKG（中文开放知识图谱）旨在推动以中文为核心的知识图谱数据的开放、互联及众包，并促进知识图谱算法、工具及平台的开源开放。

点击阅读原文，进入 OpenKG 网站。