关闭

分类评测标准

510人阅读 评论(0) 收藏 举报
分类:

1.查准率(precision)和查全率(recall)

precesion:查准率,即在检索后返回的结果中,真正正确的个数占整个结果的比例

recall:查全率,即在检索结果中真正正确的个数占整个数据集(检索到和未检索到的)中真正正确个数的比例。

FN:False Negative,被判定为负样本,但实际上是正样本。

FP:False Positive, 被判定为正样本,但实际上是负样本。

TN:True Negative: 被判定为负样本,实际上也是负样本。

TP:True Positive:被判定为正样本,实际上也是正样本。


precision=TP/(TP+FP)--------------------判对的正例占整个被判为正例的集合的比例

recall=TP/(TP+FN)-------------------------判对的正例占整个正例集的比例


PR曲线:   横轴为recall,纵轴为precision

2.综合评价指标(F-score)

F-score是Precision和Recall加权调和平均:


当参数B=1时,就是最常见的F1也就是:



3.ROC 曲线

纵轴:真正率(击中率)true positive rate,TPR,称为灵敏度。所有实际正例中,正确识别的正例比例。

TPR=TP/(TP+FN)

横轴:假正率(虚报率)false positive rate,FPR,称为特异度。所有实际负例中,错误的识别为正例的负例比例。

FPR=FP/(FP+TN)

4.AUC值

AUC的值就是计算出ROC曲线下面的面积

方法一:

统计一下所有的 M×N(M为正类样本的数目,N为负类样本的数目)个正负样本对中,有多少个组中的正样本的score大于负样本的score。当二元组中正负样本的 score相等的时候,按照0.5计算。然后除以MN。实现这个方法的复杂度为O(n^2)。n为样本数(即n=M+N)


方法二:

它也是首先对score从大到小排序,然后令最大score对应的sample 的rank为n,第二大score对应sample的rank为n-1,以此类推。然后把所有的正类样本的rank相加,再减去正类样本的score为最 小的那M个值的情况。得到的就是所有的样本中有多少对正类样本的score大于负类样本的score。然后再除以M×N。即:

 AUC=((所有的正例位置相加)-M*(M+1))/(M*N)

4:平均准确率(MAP)

单个主题的平均准确率是每篇相关文档检索出后的准确率的平均值。主集合的平均准确率(MAP)是每个主题的平均准确率的平均值。 MAP 是反映系统在全部相关文档上性能的单值指标。系统检索出来的相关文档越靠前(rank 越高),MAP就可能越高。如果系统没有返回相关文档,则准确率默认为0。


5:accuracy

正确率是我们最常见的评价指标,accuracy = (TP+TN)/(P+N),这个很容易理解,就是被分对的样本数除以所有的样本数,通常来说,正确率越高,分类器越好。





0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:49906次
    • 积分:1534
    • 等级:
    • 排名:千里之外
    • 原创:104篇
    • 转载:26篇
    • 译文:0篇
    • 评论:4条
    最新评论