megaface初试

其实早就该在megaface上测试一下我们的算法了，因为各种原因拖到现在。

Probe和gallery：facescrub_uncropped_features_list.json

Distractors：megaface_features_list.json_10000/100000/1000000_1

facescrub给了两个列表文件，facescrub_actors.txt和facescrub_actresses.txt，其中给出了人脸框，注意有些人脸框是错误的，需要先改成正确的坐标框，否则影响结果。

distractors没啥好说的，哪怕框歪了或者根本不是人脸，都无所谓。

因为觉得用megaface自带的评估程序比较麻烦，因此重新写了matlab的评估程序，结果和megaface自带的评估程序是相同的。

需要注意的是，测试时，对facescrub里的每个人，例如此人有N张图片，则每次取1张图片连同所有的distractor作为gallery，将此人的所有剩余其他图片作为probe来进行查询，统计rank-1和rank-10准确率。如果有M个人，每人有N张图片，则总计统计M*N*(N-1)次查询的rank-1和rank-10准确率。

10万distractor：Rank-1 = 91.03%，Rank-10 = 97.14%；

100万distractor：Rank-1 = 76.49%，Rank-10 = 94.74%。

对于100万distractor，Rank-10时我们的算法与现在megaface榜上前三的算法（Vocord-deepVo V3，腾讯优图，DeepSense_V2）非常接近，但是Rank-1的准确率与这三家相差很多。

仔细观察结果发现，facescrub_uncropped_features_list.json里的80个人，至少有29个人在100万distractor里面有真实身份相同的照片。这些人是：

Alec_Baldwin, Christian_Bale, Christopher_Reeve, Colin_Farrell, Daniel_Radcliffe

Farrah_Fawcett, Heath_Ledger, Hugh_Jackman, Jackie_Chan, Jim_Carrey, 

John_Malkovich, Justin_Timberlake, Karl_Urban, Kiefer_Sutherland, Kit_Harington

Mark_Wahlberg, Matthew_Broderick, Orlando_Bloom, Pamela_Anderson, Richard_Madden

Robert_Duvall, Robert_Knepper, Robert_Redford, Robin_Williams, Ryan_Phillippe

Sam_Rockwell, Shia_LaBeouf, Summer_Glau, Victoria_Justice

这29人在统计结果时会形成55608条记录，实际我们的算法使其中25232条均为Rank-1错误，错误率高达45.37%。若扣除这29人，则我们的算法在余下51个人的Rank-1准确率为88.87%。因此可以解释为什么我们的Rank-10准确率与megaface榜上前三接近，但Rank-1准确率相差很多。

此外，80个人的3530张人脸中，其中至少有6张身份错误，这6张身份错误的图片对结果统计也有一定影响，但远远小于上述29个人的影响。