分类问题评价指标

二分类

• accuracy
  • 不需要具体筛选出来某一类的分类问题，比如我想区分红色和绿色，我没有特别的偏好，就是希望红色和绿色都能分对，那就可以。而不是我就想选出全部的绿色、我只关心选出来的绿色准不准。
  • 类别是均衡的，不会红色10个点，绿色10000个点。那么多少算均衡呢？其实这个没有绝对的指标，我个人认为可以按照这个标准判断：如果把所有样本都划为多的那一类，不超过80%（或者任何你的觉得分类器还行的心理阈值，90%，70%等等）
• 精确率 precision 查准率
  • 预测结果为正的样本中有多少是真正的正样本
    如果对正例的判别精确率（查准率）要求高，可以选择阈值大一些
• 召回率 recall 查全率
  • 样本中的正例有多少被预测正确了
  • 对正例的召回（查全率）要求高，则可以选择lr阈值小一些
    

对于一个给定类，精度和召回率的不同组合如下：
高精度,高召回率：模型能够很好地检测该类
高精度,低召回率：模型不能很好地检测该类，但是在它检测到这个类时，判断结果是高度可信的
低精度,高召回率：模型能够很好地检测该类，但检测结果中也包含其他类的点
低精度,低召回率：模型不能很好地检测该类

AUC(Area Under Curve)

AUC是一种排序指标，即随机挑选一个正样本以及一个负样本，分类器有AUC的概率判定正样本的值高于负样本的（The AUC value is equivalent to the probability that a randomly chosen positive example is ranked higher than a randomly chosen negative example）。

一个关于AUC的很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。而Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。有了这个定义，我们就得到了另外一中计算AUC的办法：得到这个概率。我们知道，在有限样本中我们常用的得到概率的办法就是通过频率来估计之。这种估计随着样本规模的扩大而逐渐逼近真实值。这和上面的方法中，样本数越多，计算的AUC越准确类似，也和计算积分的时候，小区间划分的越细，计算的越准确是同样的道理。具体来说就是统计一下所有的 M×N(M为正类样本的数目，N为负类样本的数目)个正负样本对中，有多少个组中的正样本的score大于负样本的score。当二元组中正负样本的 score相等的时候，按照0.5计算。然后除以MN。实现这个方法的复杂度为O(n^2)。n为样本数（即n=M+N）

上图是在不断增大阈值的情况下，根据TPR和FPR画出ROC下曲线的面积，显然这个面积的数值不会大于1，这里面含有排序思想(正样本的概率尽可能的高，负样本概率尽可能的低曲线下面的面积越大)。

• AUC=1，完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。
• 0.5<AUC<1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。
• AUC=0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值
• AUC<0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测，因此不存在 AUC<0.5的情况。

AUC的计算公式

与accuracy等的区别

• 而accuracy、precision、f1-score、recall通常是在固定的阈值的情况下（通常为0.5）算出来的结果。AUC和他们的评价思想不一样
• 既然已经这么多评价标准，为什么还要使用ROC和AUC呢？
• 因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反）

多标签标注

https://blog.csdn.net/mr_muli/article/details/91897566