2018 BOT 新零售技术挑战赛 - 结果提交

2018 BOT 新零售技术挑战赛 - 结果提交

第三届上海 BOT 新零售数据智能创新应用国际大赛

提交时间

测试集 1 发布后每天可提交结果，排行榜每日下午 16:00 可刷新成绩，此成绩仅作为晋级决赛参考。
测试集 2 在决赛日公布下载，参赛者需要在测试集公布后半小时内提交最终测试结果。最终排名依据测试集 2。

提交格式

1. 参赛团队需要提交算法在测试集上的最终结果文件，以 json 格式提供，整个验证集的结果统一放在一个 json 文件中，并将 json 文件提交。
2. json 文件命名格式：<参赛组名>_ <测试集名称>_<日期>_<提交序号>.json，其中测试集名称分别为 val1 和 val2，对应测试集 1 和测试集 2，日期格式 yyyy-mm-dd，提交序号从 1 开始，每天清零，当天每提交一次提交序号递增 1，例如 group1_val1_20180630_1.json 代表参赛组 group1 在 2018 年 06 月 30 日针对测试集 1 的第一次提交
3. 内容格式详见下文示例，其中每张图片的结果为 results 数组的一个元素，该元素为一个 json 对象，包含了对应的图片的所有行人检测识别的预测结果，预测结果内容：
   (1) 行人检测定位结果，包括图像中目标对象 Bounding Box 的坐标以及预测的置信度，坐标为对象的矩形框的左上角和右下角坐标，以原图尺寸上的坐标值表示 (以原图左上角为原点)。
   (2) 属性、行为类别的预测结果，以置信度表示。

参赛方需保证格式正确

提交结果文档说明

本比赛的结果为 JSON 格式，请各位选手在提交前自行检查提交结果的格式是否正确。
大赛提供三种方式进行检查：

1. 根据 JSON 提交样例编写自己的结果文件，请在数据集处下载。
2. 可使用如下链接进行检查 http://www.bejson.com/。
3. 根据格式检查工具检查自己内部文件格式，格式检查工具在数据集处下载。

提交结果示例

提交要求

(1) 要求参赛者给出算法在测试集上的最终结果文件，该文件为 JSON 格式，参赛者必须保证文件格式的正确性。
(2) 比赛时间为 2018 年 07 月 17 日 - 2018 年 10 月 10 日，08 月 13 日测试集 1 公布后每天可提交结果，10 月 08 日 24:00 截止提交。每个提交日 (00:00 - 24:00) 可重复提交，重复提交的预测结果文件将会覆盖之前的版本，评测将以当日最后一次提交的文件为准，次日 16:00 更新排行榜。10 月 10 日测试集 2 公布后半小时内，参赛队伍需要完成最终结果的提交，超时后不能再进行提交。每支参赛队伍只能提交一份最终结果。
(3) 仅参赛团队队长有提交权限。
(4) 比赛选取其中最优成绩作为晋级标准。
(5) 终极验证环节：为了保证比赛的公平性和公正性，大赛设置终极验证环节，终极验证环节成绩将作为获奖资格评判的重要标准。
(6) 比赛环境：参赛者在比赛期间可以下载数据。本比赛为离线比赛，对开发环境没有限制。

评测标准

1. 分别对行人检测定位和行人属性行为进行准确率加权评测，总分为 100 分，其中行人检测定位权重占比 30% (30 分)，行人属性行为占比 70% (占 70 分)。

2. 行人检测定位准确率统计方法
   (a) 统计检测结果坐标与标注坐标的对象矩形差异，以预测矩形和标注矩形的左上角和右下角坐标的偏差进行评测：
   标注矩形左上角坐标为 ($l{x}_0$, $l{y}_0$)，右下角坐标为 ($r{x}_0$, $r{y}_0$)，宽为 $w_0$，高为 $h_0$，
   预测矩形左上角坐标为 ($l{x}_1$, $l{y}_1$)，右下角坐标为 ($r{x}_1$, $r{y}_1$)，宽为 $w_1$，高为 $h_1$，
   误差 $e$
   $$e=d(lx)+d(ly)+d(rx)+d(ry)$$
   $$d(lx)=\frac{abs(l{x}_0-l{x}_1)}{w_0}$$
   $$d(ly)=\frac{abs(l{y}_0-l{y}_1)}{h_0}$$
   $$d(rx)=\frac{abs(r{x}_0-r{x}_1)}{w_0}$$
   $$d(ry)=\frac{abs(r{y}_0-r{y}_1)}{h_0}$$
   若 $e\le 0.25$，则 $e=1$，否则 $e=0$。
   (b) 对所有的图片的对象，统计误差 $e$ 与置信度乘积的和，得出行人检测定位准确率：
   $$P_0=\frac{{\sum }_N^{i=0}{e}_i{c}_i}{N}$$
   其中 $N$ 为对象总数， $e_i$ 为第 $i$ 个对象的误差，$c_i$ 为第 $i$ 个对象的置信度。

3. 行人属性行为准确率统计方法
   (a) 模型预测某项属性的置信度 $>0.5$ 时，认为具备该项属性/行为 (对于互斥的属性，取置信度较大的为准)。
   (b) 如果图像 $i$ 某项标注标签与模型预测的标签一致，则认为该属性预测正确，预测正确数 $T_i$ 加 1，否则预测正确数不变，该图片的预测正确率计算如下：
   $D(i)=T_i/T$，其中 $T$ 为图像 $i$ 标注标签总数。
   (c) 平均准确率 $D$ 计算如下，$N$ 为图片总数。

$$D=\frac{{\sum }_N^{i=0}{D}_i}{N}$$

4. 最终准确率 $P$
   $$P=P_0\ast 0.30+D\ast 0.70$$