评估算法

例子

假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.

现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了.：（这男的之前估计是机械专业的）

作为评估者的你需要来评估(evaluation)下他的工作

定义

按照前面例子,我们需要从一个班级中的人中寻找所有女生,如果把这个任务当成一个分类器的话,那么女生就是我们需要的,而男生不是,所以我们称女生为"正类",而男生为"负类".

	相关（Relevant）/正类	无关（NonRelevant）/负类
被检索出来(Retrieved)	true positives(TP 正类判定为正类,例子中就是正确的判定"这位是女生")	false positives(FP 负类判定为正类,“存伪”,例子中就是分明是男生却判断为女生,当下伪娘横行,这个错常有人犯)
未被检索出来(Not Retrieved)	false negatives(FN 正类判定为负类,“去真”,例子中就是,分明是女生,这哥们却判断为男生–梁山伯同学犯的错就是这个)	true negatives(TN 负类判定为负类,也就是一个男生被判断为男生,像我这样的纯爷们一准儿就会在此处)

通过这张表,我们可以很容易得到这几个值:
TP（正确的正类） = 20
FP （错误的正类）= 30
TN （正确的负类）= 50
FN （错误的负类）= 0

ps：
第一个字母（T or F）：Is your judgement right(true) or not(false)?
第二个字母（P or N）：What’s your judgement about the sample?

准确率accuracy(ACC)

对于给定的测试数据集，
"分类器正确分类的样本数(TP+TN)" 与 "总样本数(TP+TN+FP+FN) " 之比。
公式 = (TP+TN)/(TP+TN+FP+FN)

例子中，正确分类的人数为：20（女）+50（男）=70人。所以accuracy为70%

当每个样本权重一样时适用，当样本有些数据样本比其它数据样本更重要时不适用。

精确率precision

所有"正确被检索的样本数(TP)" 与 “实际被检索到的样本数(TP+FP)” 之比
公式 = TP/(TP+FP)

例子中，正确的正类人数为20人，但实际上检索（挑选）了20（女）+30（男）=50人出来。所以precision为40%

召回率recall

所有"正确被检索的item(TP)" 与 “应该检索到的item(TP+FN)” 之比
公式 = TP/(TP+FN)

例子中，正确的正类人数为20人，我们一共要检索（挑选）了20（女）。所以recall为100%

F measure

是统计学中用来衡量二分类模型精确度的一种指标。它同时兼顾了分类模型的精确率和召回率
公式 = F1 = 2PR/(P + R) = 2TP/ (2TP + FN + FP )
一般化后的 F measure：

当 β = 1时，分数认为召回率和准确率同等重要。
当 β > 1时，召回率的权重高于精确率
当 β < 1时，召回率的权重低于精确率

敏感性（TPR）和特异性（TNR）

敏感性TPR = TP/(TP+FN)，敏感度高=漏诊率低（敏感性=样本为正类且被正确判断出来的概率，敏感性最高代表没有放过一个正类。但是有部分负类错误识别为正类了，错误的部分叫假阳性率）

特异性TNR = TN/(TN+FP)，特异度高低=误诊率低（特异性=样本为负类且被正确判断出来的概率，特异性最高代表没有误判一个负类。但是有部分正类没被正确识别，错误的部分叫假阴性率）

一般把标准画在最中间。这样，特异度和灵敏度都能兼顾，假阳性率和假阴性率都能低一点

意义

一句话，准确率就是“找的对”，召回率就是“找的全”

图示

参考文献

https://blog.csdn.net/liu123641191/article/details/80364334
https://www.zhihu.com/question/30750849
https://blog.csdn.net/A_a_ron/article/details/79051077
https://blog.csdn.net/saltriver/article/details/73928282
https://www.zhihu.com/question/30643044
https://baike.baidu.com/item/F1%E5%88%86%E6%95%B0/13864979

---

https://www.cnblogs.com/sddai/p/5696870.html （非常好的一篇文章，记得看References）
https://zhuanlan.zhihu.com/p/46714763
https://zhuanlan.zhihu.com/p/50371994
https://blog.csdn.net/qq_40925385/article/details/88085580
https://zhuanlan.zhihu.com/p/50371994
https://www.jianshu.com/p/6536d584d5fd
https://www.jiqizhixin.com/graph/technologies/82aeeeba-b738-4a05-b9c2-7ec567c401fe