【CAIL2021】任务① | 阅读理解

点击下面卡片，关注我呀，每天给你送来AI技术干货！

编辑：TsinghuaNLP

法律智能研究旨在赋予机器理解法律文本的能力。为了促进智能技术赋能司法，实现更高水平的数字正义，在最高人民法院和中国中文信息学会的指导下，从2018年起，CAIL已连续举办了三届中国法律智能技术评测，先后吸引了来自海内外高校、企业和组织的3010支队伍参赛，成为中国法律智能技术评测的重要平台。

CAIL 2021一共设置了七个任务，分别为：阅读理解、类案检索、司法考试、司法摘要、论辩理解、案情标签预测以及信息抽取，同时将提供海量司法文书数据作为数据集。阅读理解赛道已于2021年8月1日全面开启报名通道，整体赛程将持续至2021年12月初。具体赛程安排敬请关注CAIL官网：http://cail.cipsc.org.cn。诚邀学术界、工业界的研究者与开发者积极参与和支持评测！

任务详情

1、任务介绍

该赛道由科大讯飞研究院与哈尔滨工业大学社会计算与信息检索研究中心承办。在法律问答任务中，很多问题需要通过文章中多个片段组合出最终的答案。因此，本次中文法律阅读理解比赛引入多片段回答的问题类型，即部分问题需要抽取文章中的多个片段组合成最终答案。希望多片段问题类型的引入，能够扩大中文机器阅读理解的场景适用性。本次比赛依旧保留单片段、是否类和拒答类的问题类型。

2、数据介绍

本任务技术评测的训练集包括两部分，一部分来源于CAIL2019和CAIL2020的训练集，一部分为重新标注的约4000个问答对的训练集。验证集和测试集分别约1500个问答对。第一阶段为小规模训练集和验证集，第二阶段为全量训练集和验证集，第三阶段使用测试集用于封测。

3、评测方式

评价采用F1宏平均（Macro-Average F1），与CAIL2019评价方法一致，对于多片段回答类型，将多片段组合成一个答案后按照单片段方式来计算。

4、基线系统

本次比赛提供基于法律Electra的基线系统。

参赛方式

参赛对象 : 本次技术竞赛面向全社会开放，相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。

报名方式 : 竞赛网站将于2021年08月01日开放注册报名，登录网站主页即可报名，完善相关信息，即可报名参赛。

报名时间 : 2021年08月01日至2021年10月13日。（可能根据参赛队伍情况调整，具体时间请关注官方网站公告栏）

赛程安排

第一阶段（2021.08.01-2021.10.13）

开启本任务比赛报名，发放CAIL2021-CJRC3.0小规模训练集，用于编写模型进行训练和测试。每周限提交3次，开放排行榜。

第二阶段（2021.09.01-2021.10.13）

开放第二阶段测试。对于高于任务预设基准算法成绩的队伍，我们将开放第二阶段的测试提交，第二阶段的最终成绩以各参赛队伍在第二阶段结束之前选择的三个模型中的在第二阶段测试集上的最高分数作为最终成绩。

第三阶段（2021.10.14-2021.11.04）

封闭评测，第二阶段结束时，所有参赛者需要选择三个在第二阶段提交成功的模型作为最终模型，三个模型取最高值。

挑战赛的最终成绩计算方式：最终成绩 = 第二阶段的成绩 * 0.3 + 第三阶段的成绩 * 0.7。

第四阶段（2021.11.05-2021.12.31）

公布最终成绩，并开展技术交流和颁奖活动。

奖项设置

挑战赛将对阅读理解任务评出一等奖1名，二等奖2名，三等奖4名。由主办方中国中文信息学会（CIPS）为获奖者提供荣誉证书认证；由科大讯飞股份有限公司为获奖者提供奖励。

说明

1. 以上所有提及金额均为税前金额。

2. 获奖算法与系统的知识产权归参赛队伍所有，仅要求获奖团队提供算法与系统报告（包括方法说明、数据处理、参考文献和使用开源工具等信息）及团队成员名单，供颁奖会技术交流。

????长按上方二维码立即报名！????

---

投稿或交流学习，备注：昵称-学校（公司）-方向，进入DL&NLP交流群。

方向有很多：机器学习、深度学习，python，情感分析、意见挖掘、句法分析、机器翻译、人机对话、知识图谱、语音识别等。

记得备注呦

点击上面卡片，关注我呀，每天推送AI技术干货~

整理不易，还望给个在看！