mAP和CMC curve

mAP:(mean average precision)

根据准确率-召回率曲线计算得到，反应召回率

CMC curve:(Cumulative Matching Characteristic)

累计匹配特性曲线，一般用Rank-1, Rank-5, Rank-20 scores代替，反应检索准确度

Rank-1识别率就是表示按照某种相似度匹配规则匹配后，第一次就能判断出正确的标签的测试数目与总的测试样本数目之比，Rank5识别率就是指有五次机会（选取匹配程度最大的五项）去判断是否有正确匹配。

如果一个样本按照匹配程度从大到小排列后，到排序结果的后面，才匹配到正确标签，把最应匹配的判别成最不应匹配的，这就说明分类器不太好。

举个例子来说，比如，我们训练了一个分类器，来识别五个物体，即1，2，3，4，5，他们属于3类即A，B，C。比如属于A类的物体1，经过分类器，得到属于A、B、C类的概率是80%，15%，5%，所以将物体1，判定为A类，物体1经过一次排序就被命中正确的类，所以我们引入Rank-1为100%，若物体2本来属于B类，被我们训练的分类器分类为A、B、C的概率分别为50%，40%，10%，所以被判定为A类，按照概率排序，如果有两次机会，才能命中，这就是Rank-2的含义。

综上五个物体，若果每个都能第一次命中，所以五个物体的Rank分别是 rank-1 100% rank-2 100% rank-3 100%

如果物体1，2为一次就命中，3，4为两次才能命中，5为三次命中，则为 rank-1 40% rank-2 80% rank-3 100%

这就是CMC曲线，而一次命中率越高，说明我们的分类器性能越好。

两者的差别：

假设有（a)(b)(c)三个分类器如上图，（a) (b) (c)的rank-1都为1，无法反应分类器的好坏。但是（a)的AP=（1/1+2/N)/2 = 0.5 + 1/N   (b)的AP =（1/1 + 2/2）/ 2=1   （c)的AP=（1/1+2/5）/2=0.7 可见（b)分类器的性能好

由上面这个例子我们可以看出，CMC曲线适合gallery中只有一个查询结果的情况。而对于gallery中有多个查询结果的情况，用mAP更为合适。

F-score: