网上对于每个定义分别讲述的很深,但是很少又把他们联系起来的。
首先,所有的定义均来自下面的图,一定要理解好。
1 精准率和召回率,通常用在搜索的评价场合。
精准率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有搜索出来的(TP+FP)
召回率表示:应该被搜索到的而且实际也搜索出来的(TP)/所有应该被搜索到(TP+FN)
而 TN 表示不应该被搜索到实际也没搜索出来的,搜索系统一般不关心,所以没有纳入这个指标。
P和R指标有的时候是矛盾的,综合考虑精确率(precision)和召回率(recall)这两个度量值。很容易理解,F1综合了P和R的结果,当F1较高时则比较说明实验方法比较理想。
综合评价指标(F-Measure)是Precision和Recall加权调和平均:
当参数a=1时,就是最常见的F1了:
2 准确率和错误率。这一般是分类器采用的指标。而且不但二分类可以用,也可以扩充到多分类的情况。
准确率=准确分类个数/总体=TP+TN/TP+TN+FN+FP
错误率=错误分类个数/总体=FN+FP/TP+TN+FN+FP
3 ROC。
上述方法有个缺点 还需要对预测概率设分类阔值,比如预测概率大于|萄值为正例,反之为负例这使得模型多了一个超参数,并且这个超参数会影 响模型的泛化能力 。
ROC的方法没有这样的限制,ROC实质是把所有的分类阈值从0-1都在曲线上展示了一下,然后就可以看出整个模型的好坏。
下面是ROC绘制的一个实例。AUC其实就是曲线的面积,越大表示模型越好。
其一是真正类率(true positive rate ,TPR), 计算公式为TPR=TP/ (TP+ FN),即敏感度,刻画的是分类器所识别出的 正实例占所有正实例的比例。另外一个是假正类率(false positive rate, FPR),计算公式为FPR= FP / (FP + TN),计算的是分类器错认为正类的负实例占所有负实例的比例,即特异度。还有一个真负类率(True Negative Rate,TNR),也称为specificity,计算公式为TNR=TN/ (FP+ TN) = 1 - FPR。
其正例数为此部分里实际的正类数。也就是说,将逻辑回归得到的结 果按从大到小排列,倘若以前10%的数值作为阈值,即将前10%的实例都划归为正类,6180个。其中,正确的个数为4879个,占所有正类的 4879/14084*100%=34.64%,即敏感度;另外,有6180-4879=1301个负实例被错划为正类,占所有负类的1301 /47716*100%=2.73%,即1-特异度。以这两组值分别作为y值(敏感度)和x值(1-特异度),在excel中作散点图。得到ROC曲线如下(红色曲线与数据无关其只是一个参考,蓝色曲线是ROC曲线):
参考 https://blog.csdn.net/abcd1f2/article/details/51862988
https://baike.baidu.com/item/ROC曲线/775606?fr=aladdin