【CAIL2021】任务① | 阅读理解-CSDN博客

点击下面卡片，关注我呀，每天给你送来AI技术干货！

编辑：TsinghuaNLP

法律智能研究旨在赋予机器理解法律文本的能力。为了促进智能技术赋能司法，实现更高水平的数字正义，在最高人民法院和中国中文信息学会的指导下，从2018年起，CAIL已连续举办了三届中国法律智能技术评测，先后吸引了来自海内外高校、企业和组织的3010支队伍参赛，成为中国法律智能技术评测的重要平台。

CAIL 2021一共设置了七个任务，分别为：阅读理解、类案检索、司法考试、司法摘要、论辩理解、案情标签预测以及信息抽取，同时将提供海量司法文书数据作为数据集。阅读理解赛道已于2021年8月1日全面开启报名通道，整体赛程将持续至2021年12月初。具体赛程安排敬请关注CAIL官网：http://cail.cipsc.org.cn。诚邀学术界、工业界的研究者与开发者积极参与和支持评测！

任务详情

1、任务介绍

该赛道由科大讯飞研究院与哈尔滨工业大学社会计算与信息检索研究中心承办。在法律问答任务中，很多问题需要通过文章中多个片段组合出最终的答案。因此，本次中文法律阅读理解比赛引入多片段回答的问题类型，即部分问题需要抽取文章中的多个片段组合成最终答案。希望多片段问题类型的引入，能够扩大中文机器阅读理解的场景适用性。本次比赛依旧保留单片段、是否类和拒答类的问题类型。

2、数据介绍

本任务技术评测的训练集包括两部分，一部分来源于CAIL2019和CAIL2020的训练集，一部分为重新标注的约4000个问答对的训练集。验证集和测试集分别约1500个问答对。第一阶段为小规模训练集和验证集，第二阶段为全量训练集和验证集，第三阶段使用测试集用于封测。

3、评测方式

评价采用F1宏平均（Macro-Average F1），与CAIL2019评价方法一致，对于多片段回答类型，将多片段组合成一个答案后按照单片段方式来计算。

4、基线系统

本次比赛提供基于法律Electra的基线系统。

参赛方式

参赛对象 : 本次技术竞赛面向全社会开放，相关领域的个人、科研机构、高等院校、企业单位等人员均可报名参加。

报名方式 : 竞赛网站将于2021年08月01日开放注册报名，登录网站主页即可报名，完善相关信息，即可报名参赛。

报名时间 : 2021年08月01日至2021年10月13日。（可能根据参赛队伍情况调整，具体时间请关注官方网站公告栏）

赛程安排