CCL2024-Eval | 儿童故事常识推理与寓意理解评测正式开启，诚邀您积极参与

简介

预训练语言模型（PLMs）已经在众多自然语言处理任务中取得令人兴奋的进展，达到甚至超越了人类的水平。尽管已经具备了一定的文本理解和推理能力，但模型在故事寓意理解、常识推理等超越文本表层含义的深层语义理解及推理任务中仍表现不佳。

为了促进语言模型的常识推理和深层语义理解能力的提升，山西大学自然语言处理团队基于400多个经典寓言故事构建了一个中文故事理解数据集CRMUS。该数据集包含了3400个选择题及13600个选项，通过设计两个难度递增的任务：常识推理和寓意理解，由浅入深地探测模型理解局部信息、领悟故事整体情节与深层语义的能力。

任务介绍

儿童故事常识推理与寓意理解评测（Commonsense Reasoning and Moral Understanding Evaluation in Children's Stories，CRMUS）任务旨在从常识推理（Commonsense Reasoning）和寓意理解（Moral Understanding）两个任务多角度评价中文预训练语言模型和大型语言模型的故事理解和推理能力。本评测包含以下2个子任务： 

• 常识推理（Commonsense Reasoning）：基于给定的故事和常识问题，选择正确的候选答案。 

• 寓意匹配（Moral Matching）：基于给定的故事，从多个候选答案中选择最符合故事的寓意。

赛道和赛程

1

赛道

本次评测任务设置了两个赛道，其中赛道一可以通过提示学习的方式使用ChatGPT、GPT-4、文心一言等大模型；赛道二可以通过微调的方式使用LLaMA等开源大模型，模型参数量不超过7B。

2

赛程

报名时间

2024年3月20日-4月20日

开发集、测试集发布

2024年3月25日

完成报名后，参赛队伍在智源指数平台上获取评测数据。数据集获取链接：待定

最终测试文件与模型提交

2024年5月1日

参赛队伍成绩及排名公布

2024年5月10日

参赛队伍提交技术报告

2024年5月21日

中英文技术报告反馈

2024年6月5日

获奖名单公布

2024年6月15日

评测研讨会

2024年7月25日-7月28日

报名方式

本次评测采用电子邮件进行报名，邮件标题为：“CCL2024-儿童故事常识推理与寓意理解评测-参赛单位”，例如：“CCL2024-儿童故事常识推理与寓意理解评测-山西大学”。请参加评测的队伍发送邮件至 202112407002@email.sxu.edu.cn，并同时在智源指数平台（阅读原文）上完成报名，报名完成后可在该平台上获取评测数据，并加入评测交流QQ群：938913901，或扫描下方二维码：

Github链接：

https://github.com/SXU-YaxinGuo/CRMU

智源指数平台：

https://cuge.baai.ac.cn/#/ccl/2024/crmus

算力赞助

北京并行科技股份有限公司将为每个参赛队伍提供一定的算力支持。

评测单位

单位：

山西大学

合肥工业大学

组织者：

谭红叶（山西大学） 

李  茹（山西大学） 

张  虎（山西大学） 

俞  奎（合肥工业大学）

比赛奖励

赛道一和赛道二都将分别评选出如下奖项，由中国中文信息学会计算语言学专委会（CIPS-CL）为获奖队伍提供荣誉证书。

奖项	一等奖	二等奖	三等奖
数量	1名	1名	1名
奖励	荣誉证书	荣誉证书	荣誉证书

诚邀学术界、工业界的研究者与开发者积极参与和支持评测！

#投 稿 通 道#

 让你的文字被更多人看到 

如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。

总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。 

PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。

📝 稿件基本要求：

• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注 

• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题

• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算

📬 投稿通道：

• 投稿邮箱：hr@paperweekly.site 

• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者

• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿

△长按添加PaperWeekly小编

🔍

现在，在「知乎」也能找到我们了

进入知乎首页搜索「PaperWeekly」

点击「关注」订阅我们的专栏吧

·

·