带你详细了解机器视觉竞赛—ILSVRC竞赛

ILSVRC(ImageNet Large Scale Visual Recognition Challenge)的缩写，是近年来机器视觉领域最受追捧也是最具权威的学术竞赛之一，代表了图像领域的最高水平。

ImageNet数据集是ILSVRC竞赛使用的是数据集，由斯坦福大学李飞飞教授主导，包含了超过1400万张全尺寸的有标记图片。ILSVRC比赛会每年从ImageNet数据集中抽出部分样本，以2012年为例，比赛的训练集包含1281167张图片，验证集包含50000张图片，测试集为100000张图片。

---

ILSVRC竞赛的项目主要包括以下几个问题：

01 图像分类与目标定位（CLS-LOC）

图像分类的任务是要判断图片中物体在1000个分类中所属的类别，主要采用top-5错误率的评估方式，即对于每张图给出5次猜测结果，只要5次中有一次命中真实类别就算正确分类，最后统计没有命中的错误率。

2012年之前，图像分类最好的成绩是26%的错误率，2012年AlexNet的出现降低了10个百分点，错误率降到16%。2016年，公安部第三研究所选派的“搜神”（Trimps-Soushen）代表队在这一项目中获得冠军，将成绩提高到仅有2.9%的错误率。

目标定位是在分类的基础上，从图片中标识出目标物体所在的位置，用方框框定，以错误率作为评判标准。目标定位的难度在于图像分类问题可以有5次尝试机会，而在目标定位问题上，每一次都需要框定的非常准确。

目标定位项目在2015年ResNet从上一年的最好成绩25%的错误率提高到了9%。2016年，公安部第三研究所选派的“搜神”（Trimps-Soushen）代表队的错误率仅为7%。

02 目标检测（DET）

目标检测是在定位的基础上更进一步，在图片中同时检测并定位多个类别的物体。具体来说，是要在每一张测试图片中找到属于200个类别中的所有物体，如人、勺子、水杯等。评判方式是看模型在每一个单独类别中的识别准确率，在多数类别中都获得最高准确率的队伍获胜。平均检出率mean AP（mean Average Precision）也是重要指标，一般来说，平均检出率最高的队伍也会多数的独立类别中获胜，2016年这一成绩达到了66.2。

03 视频目标检测（VID）

视频目标检测是要检测出视频每一帧中包含的多个类别的物体，与图片目标检测任务类似。要检测的目标物体有30个类别，是目标检测200个类别的子集。此项目的最大难度在于要求算法的检测效率非常高。评判方式是在独立类别识别最准确的队伍获胜。

2016年南京信息工程大学队伍在这一项目上获得了冠军，他们提供的两个模型分别在10个类别中胜出，并且达到了平均检出率超过80%的好成绩。

04 场景分类（Scene）

场景分类是识别图片中的场景，比如森林、剧场、会议室、商店等。也可以说，场景分类要识别图像中的背景。这个项目由MIT Places团队组织，使用Places2数据集，包括400个场景的超过1000万张图片。评判标准与图像分类相同（top-5），5次猜测中有一次命中即可，最后统计错误率。

2016年最佳成绩的错误率仅为9%。

场景分类问题中还有一个子问题是场景分割，是将图片划分成不同的区域，比如天空、道路、人、桌子等。该项目由MIT CSAIL视觉组织，使用ADE20K数据集，包含2万张图片，150个标注类别，如天空、玻璃、人、车、床等。这个项目会同时评估像素及准确率和分类IOU（Interp of Union）。