Megaface Challenge1 评测步骤

1 参照论文 The MegaFace Benchmark: 1 Million Faces for Recognition at Scale，主要进行Identification测试。这里包括两部分数据，一部分probe set，一部分distractors，还有个官方给定的评测程序devkit。其中distractors，是megaface官方提供的自己的数据集，有超过百万人脸。另外一个probe set，采用FaceScrub数据集（包括530个人），为了评测方便，从中选取80个人（男女各半，且每个人照片要超过50张），每个人随机选取一定照片，组成probe set。具体选取的人和照片，参照devkit/templatelists/facescrub_features_list.json，对应的distractors也有对应的megaface_features_list.json_1000000_1。

2 Identification评测逻辑，就是假设probe set 有N个人，每个人有M张图片，每次选取一张图片作为probe photo，然后把剩余的M-1张，在单独每一张和distractors一起组成gallery，然后进行比对，计算rank1，rank10到rank=k的准确率，最终得到CMC曲线，其中相当于比对了$N\ast M\ast (M-1)$次。

3 对于提供的probe set和distractors，其中有很多错误（probe set中有些图片并不是本人，然后distractors中有些图片是probe set中的人），参照Insight face给出的nosies.txt，进行清除，然后生成特征进行比对。对于官方给的Identification.bin评测程序，注意的就是要把json文件的名称和特征名称匹配就行了。参照Insight face，用LResNet50E-IR，模型进行测试得到rank1=97.2%

4 观察megaface给出的probe set数据集，发现大部分图片，从表情，光照，表情，姿态上都比较正常（大部分微笑表情，没有特别夸张表情），其中Adrienne_Barbeau图片大部分刘海遮住额头，还有一个男星所有图片带着浅色眼睛。综上，probe set中所有图片都是正常质量较高的图片。