首届中国心电智能大赛复赛赛制说明

复赛赛题

各团队需要在复赛规定时间内，利用组委会提供的训练集数据，设计并实现模型和算法，能够预测常规心电图的种类。各团队在测试集上的预测结果将用于计算成绩。比赛中所使用的常规心电图类别主要有正常心电图和八种异常心电图，包括心房颤动、一度房室传导阻滞、完全性右束支阻滞、左前分支阻滞、室性早搏、房性早搏、早期复极图形改变和T波改变。

复赛数据

复赛数据分为训练集、验证集和测试集等三个部分，其中训练集和验证集对参赛队伍可见。训练集主要用于构建模型和算法；验证集则隐去标签，各队伍将验证集上的预测结果提交到内网评分网站，既可确认预测结果文件格式正确，也可估计在全部参赛团队中的相对水平；测试集则用于计算参赛队伍的复赛成绩和排名，在比赛期间和赛后都不会公开，并将一直用于评估算法性能。

为了方便参赛团队读取数据，所有心电图都存为MAT格式。该文件中存储了12个导联的电压信号（包含了I, II, III, aVR, aVL, aVF, V1, V2, V3, V4, V5和V6），同时也包含了性别和年龄等变量。心电数据的单位为毫伏，采样率为500赫兹。训练数据对应的标签存储在REFERENCE.csv文件中，各类别编号和英文缩写如下表所示。

0	正常	Normal
1	心房颤动	AF
2	一度房室传导阻滞	FDAVB
3	完全性右束支传导阻滞	CRBBB
4	左前分支阻滞	LAFB
5	室性早搏	PVC
6	房性早搏	PAC
7	早期复极图形改变	ER
8	T波改变	TWC

复赛赛制

赛制基本信息如下表所示。

5月5日至5月8日18点	进入复赛的参赛队伍获悉京东云提供的云桌面账号和密码。各队伍熟悉云桌面使用，并在云桌面上安装个人所需软件	云桌面与互联网保持连接，系统内没有复赛数据；云桌面账号同一时段只能实现一台电脑的接入
5月9日至5月12日	组委会为每台云桌面系统挂载数据盘	参赛队伍此时段内无法登录云桌面
5月13日10点至6月10日10点	参赛队伍正式复赛，该时间段内可向ranking.jdworkspace.com提交在验证集上的结果，查看成绩排行榜	云桌面与互联网断开，且无法从云桌面向本地下载文件
6月10日至6月30日	组委会通过测试集对每支参赛队伍做算法测试	参赛队伍无法登陆云桌面

各参赛队伍将于5月5日收到组委会发送的京东云账号和密码，《大赛云桌面使用手册》可在网站上下载。参赛队伍收到账号和密码后，可在8日18时之前登录并熟悉使用云桌面系统。根据各参赛队伍在报名期间填写的软件需求，组委会安装了需求量较高的软件，形成了通用版云桌面系统。参赛队伍如果需要使用某些未安装的软件，一定要在8日18时之前完成。8日18时以后，组委会为每台云桌面挂载数据云盘。

在此下载 大赛云桌面使用手册

5月13日上午10点至6月10日上午10点为复赛的正式比赛时间。请各支队伍注意，正式复赛期间云桌面无法接入互联网。各队伍通过“/media/jdcloud/Train”访问复赛训练集，通过“/media/jdcloud/Val”访问验证集数据。为了方便各队伍能了解算法模型的相对水平，组委会设定了域名为“ranking.jdworkspace.com”的内网网站，供队伍将验证集上的预测结果上传。通过该预测结果计算算法性能，队伍可在该网站上查看排名（建议提交至少1次，确认格式正确；注意，该成绩不纳入复赛成绩的计算）。

请各支参赛队伍注意：

• 5月5日至6月10日，各队伍可以从本地向云桌面上传文件。
• 各队伍注意在代码云盘或数据云盘上备份好代码，以防意外导致代码丢失。
• 为了保证比赛的公平公正，组委会在测试过程中会检查各队伍的代码；为了保护各队伍的知识产权，组委会不会公开代码；且除法定情形以及为组委会测试检查目的以外，也不会将代码交给任何人使用。
• 为了保证排名网站的稳定，请各队伍不要过于频繁的提交验证集上的预测结果。

6月10日复赛结束后，组委会利用测试集对各参赛队伍的算法进行评测。复赛成绩将于6月30日之后公布。组委会将推荐参赛团队投稿到于今年10月在深圳举办的MICCAI 2019大会workshop“Machine Learning and Medical Engineering for Cardiovascular Healthcare (MLMECH-MICCAI)”，具体情况请等待大赛网站或清数DLAB公众号发布消息。

评分

本次大赛采取基于多标签分类的评分方式[1]。该方式衡量算法在每类心电图上的预测准确性。采用多标签分类的评分，主要原因是一张心电图上可能不只表现出一种异常。各队伍的复赛成绩取所有类别上的算术平均值。下面详述该方式。

首先，针对第j个类别定义如下四个变量，其中0≤j≤8，

由此计算每一类的Precision、Recall和F1分数：

平均F1分数为上述9个分数的算术平均值，即：

算法评测

组委会为每支队伍做算法评测，通过测试集来计算成绩。为了便于组委会能在短时间内为100支队伍进行算法测试，请各队伍参考样例代码和如下流程（以Python为例）：

• 基于训练集，利用Pycharm进行算法研究；
• 基于验证集，形成与样例“answers.csv”格式一致的预测结果；
• 在ranking.jdworkspace.com上登录并提交预测结果，查看当前排名（建议提交至少1次，保证格式正确）；
• 更新“run.sh”文件，保证可通过直接运行该bash文件，获得预测结果。

参赛队伍可以在这里下载样例代码。

在此下载 样例代码

请各参赛队伍注意，复赛成绩完全取决于在测试集上的预测结果。组委会放弃采用验证集来评测各参赛队伍的成绩，主要原因是该数据在复赛期间可见，无法避免有团队对数据做标注，帮助训练算法模型等潜在的不公平竞争。验证集的主要作用是用于形成排行榜，方便团队了解在所有队伍中的相对水平；同时验证预测结果的文件格式，方便后续的算法测试。

为了保证组委会能在短时间内为100支复赛团队进行算法评测，请参考样例代码中run.sh文件的形式。无论使用任何语言进行算法设计，请保证可以通过run.sh文件直接运行，组委会通过修改“--test_path”实现算法在测试集上的运行，测试集与验证集的布局形式完全相同；也请参考样例代码中的answers.csv文件，组委会利用各团队的answers.csv实现基于验证集的成绩排行榜，也用于基于测试集的最终成绩计算。

参考文献

[1] Zhang, Min-Ling, and Zhi-Hua Zhou. "A review on multi-label learning algorithms." IEEE transactions on knowledge and data engineering 26.8 (2014): 1819-1837.