准确率、精确率、召回率、F1值学习笔记

一、TN、TP、TN、FP、FN概念

        TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是错误的正类，FN是错误的负类。

        举例：我们需要从一个班级中的人中寻找所有女生,如果把这个任务当成一个分类器的话,那么女生就是我们需要的,而男生不是,所以我们称女生为"正类",而男生为"负类"，那么可以用如下混淆矩阵来描述TP、TN、FP、FN。

	相关(Relevant),正类	无关(NonRelevant),负类
被检索到(Retrieved)	true positives(TP 正类判定为正类,例子中就是正确的判定"这位是女生")	false positives(FP 负类判定为正类,"存伪",例子中就是分明是男生却判断为女生)
未被检索到(Not Retrieved)	false negatives(FN 正类判定为负类,"去真",例子中就是,分明是女生,这哥们却判断为男生)	true negatives(TN 负类判定为负类,也就是一个男生被判断为男生)

那么现在假如某个班级有男生80人,女生20人,共计100人.目标是找出所有女生.
现在某人挑选出50个人,其中20人是女生,另外还错误的把30个男生也当作女生挑选出来了，对该人的工作进行评估。

很容易可以得到：
TP=20
FP=30
FN=0
TN=50

二、准确率、精确率（精准率）、召回率、F1值

1.准确率（Accuracy）。顾名思义，就是所有的预测正确（正类负类）的占总的比重。

 个人理解：正确检索到是女生和正确检索到是男生在所有检索结果中的占比。

2.精确率（Precision），查准率。即正确预测为正的占全部预测为正的比例。

个人理解：正确被检索的TP占所有实际被检索到的(TP+FP)的比例，即(20女生/(20女生+30误判为女生的男生)).（精确率也叫查准率，就是看查的准不准，查到的10位女生里面有9个确实为女生只有一位是男生，那么比较准，但如果10位女生里面只有5位真的是女生，剩下5位是男生，那么查的就不准。精确率就是找的准）

3.召回率（Recall），查全率。即正确预测为正的占全部实际为正的比例。个人理解：真正正确的占所有实际为正的比例。

 个人理解：正确被检索的TP占所有应该检索到的(TP+FN)的比例。即(20女生/(20女生+ 0 误判为男生的女生))，（召回率也就查全率，就是看你查到的人和真正有多少人相比全面不全面，比如一共有20位女生检索到15位女生、但有5位女生被误认为是男生，那么召回率就是15/(15+5)。召回率就是查的全）

4.F1值（H-mean值）。F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。

 公式转化之后为：

 F1值就是精确值和召回率的调和均值,准确率和召回率是互相影响的，理想情况下肯定是做到两者都高，但是一般情况下准确率高、召回率就低，召回率低、准确率高。

如果是做搜索，那就是保证召回的情况下提升准确率；如果做疾病监测、反垃圾，则是保准确率的条件下，提升召回。所以，在两者都要求高的情况下，可以用F1来衡量。