重要说明
由于本届评测报名人数较多,为了保证评测过程的顺利进行,所有系统必须通过CodaLab进行提交,不接受线下调试,敬请谅解。
请各参赛队伍一定充分预留时间熟悉Codalab平台,避免最终提交失败。难点在配置运行环境上,如采用了较多的第三方库或对版本要求较高则可能需要自行配置docker。若只使用单一的深度学习库,例如Theano/Tensorflow/PyTorch/Keras等则可参考下方常用Docker一节自行选择。
暂不接受未报名参加人员的测试请求,请在本届评测结束后发送请求。
请在离线环境解码成功后再上传至Codalab,避免计算资源的浪费。
提交开发集/测试集系统
请填写下列表单提交系统验证:提交表单
为了确保系统能够在测试集上正常运行,请参赛队伍务必在开发集系统验证期间提交系统,保证系统的顺利运行。
通常情况下,系统结果将在1个工作日内上传至官方排行榜中(排行榜非匿名)。
【注意事项】
本周开始(2018年7月2日周一),每个报名队伍每周可同时提交两个系统,以避免提交最终系统时因细微参数差别导致结果大幅变化。截止至系统验证结束(即8月7日)共计6周,即最多6次提交机会,每周一重置提交权限。
每周只允许提交一次结果,即6次提交需分散在6周,如某一周没有提交,则当周提交机会自动作废。
本次评测不限制使用外部资源,允许合理使用外部资源提升系统性能(但需在最终的系统描述中说明)。
开发集、预测试集的结果不影响评测的最终排名,仅供参考。
由于参赛人数较多,评测委员会不接受Codalab以外的验证方式,敬请谅解。<