分类器评价指标

原创 2015年07月09日 11:44:29

混淆矩阵 Confusion Matrix

这里写图片描述

  1. Accuracy = (TP+TN)/(TP+FP+TN+FN) ;
  2. Precision = TP/(TP+FP); //预测对的正样本在所有预测为正的样本中的比例
  3. Recall = TP/(TP+FN); //预测对的正样本在所有真正正样本中的比例, 也叫真正类率(True Positive Rate)(TPR)
  4. F1-score = 2*Precision*Recall/(Precision + Recall);
  5. Specificity = TN/(FP+TN);
  6. ROC(Receiver Operating Characteristic)曲线由两个变量绘制,
    横坐标是负正类率(FPR),纵坐标是真正类率(TPR);
  7. AUC(Area Under Curve)为ROC曲线下的面积。

1). Sensitivity = Recall = TPR(True Positive Rate) = TP/(TP+FN);
2). FPR=FP/(FP+TN);
3). Specificity + FPR = 1.

Fb-score是准确率和召回率的调和平均
Fb=[(1+b^2)*P*R]/((b^2)*P+R),比较常用的是F1.

绘制ROC曲线:

http://www.douban.com/note/284051363/?type=like

precision与recall,前者是在预测为正的样本中的比例,后者是在真正为正的样本中的比例,别记混了,找工作可能会问到的!:)

补充: 2016-11-28

map

平均正确率均值MAP(mean average precision)

map可以由它的3个部分来理解:P,AP,MAP。

P即precision,在信息检索领域用的比较多,和precision一起出现的是recall。

对于一个查询返回了一系列文档,precision是指返回的结果中相关的文档占的比例。定义为:precision=返回结果中相关文档的数目/返回结果的数目。
recall是返回结果中相关文档占所有相关文档的比例。定义为:recall=返回结果中相关文档的数目/所有相关文档的数目。

precision只是考虑了相关文档的个数,没有考虑文档之间的序。对一个搜索引擎或推荐系统而言,返回的结果必然是有序的,而且越相关的文档排的越靠前越好。于是有了AP的概念。

对于一个有序的列表,计算AP的时候要先求出每个位置上的precision,然后对所有位置上的precision再求average。如果该位置文档是不相关的,则该位置precision=0,如果相关则计算该位置的precision。如果有4个相关文档,返回值分别排在1,2,5,8位置,则对应的precision为:1/1,2/2,3/5,4/8。那么,AP=(1/1+2/2+3/5+4/8)/4. 可见,AP是对排序位置敏感的,相关文档排序的位置越靠前,检出的相关文档的数目越多,AP值越大。

而MAP就是对所有查询的AP值求均值。

相关文章推荐

分类器评价指标

在分类问题中,一个实例可能被判定为一下四种类型之一: ŸTP(True Positive):被模型预测为正的正样本; ŸFP(False Positive):被模型预测为正的负样本; ŸFN(F...

分类器模型评价指标

需要提前说明的是,我们这里只讨论二值分类器。对于分类器,或者说分类算法,评价指标主要有accuracy,precision,recall,F-score,以及我们今天要讨论的ROC和AUC。下图是一个...

给定A, B两个整数,不使用除法和取模运算,求A/B的商和余数

给定A, B两个整数,不使用除法和取模运算,求A/B的商和余数。 1.   最基本的算法是,从小到大遍历: for (i = 2 to A -1)          if (i * B > A)...

利用K-means聚类算法根据经纬度坐标对中国省市进行聚类

K-means聚类算法是一种非层次聚类算法,在最小误差的基础上将数据划分了特定的类,类间利用距离作为相似度指标,两个向量之间的距离越小,其相似度就越高。程序读取全国省市经纬度坐标,然后根据经纬度坐标进...

Radon变换理论介绍与matlab实现--经验交流

本人最近在研究Radon变换,在查阅了各种资料之后在此写下个人的理解,希望与各位牛牛进行交流共同进步,也使得理解更加深刻些。 Radon变换的本质是将原来的函数做了一个空间转换,即,将原来的XY平...

CT图像重建技术

由于csdn贴图不方便,并且不能上传附件,我把原文上传到了资源空间CT图像重建技术 1.引言 计算机层析成像(Computed Tomography,CT)是通过对物体进行不同角度的射线投影测量而...

Matlab绘图-很详细,很全面

Matlab绘图强大的绘图功能是Matlab的特点之一,Matlab提供了一系列的绘图函数,用户不需要过多的考虑绘图的细节,只需要给出一些基本参数就能得到所需图形,这类函数称为高层绘图函数。此外,Ma...

linux查找目录下的所有文件中是否含有某个字符串

查找目录下的所有文件中是否含有某个字符串  find .|xargs grep -ri "IBM"  查找目录下的所有文件中是否含有某个字符串,并且只打印出文件名  find .|xargs g...

Radon变换入门matlab CT原理

http://hi.baidu.com/hi9394/blog/item/0d492b8bfd714700c8fc7aa9.html 简介 图像投影,就是说将图像在某一方向上做线性积分(或理解为累...

Excel2016右键新建工作表,打开时提示“因为文件格式或文件扩展名无效。请确定文件未损坏,并且文件扩展名与文件的格式匹配。”的解决办法

上午新建excel工作表时,发现新建完之后居然打不开 提示: 尼玛这坑爹的,难道我的Excel坏了?? 排查问题之后发现 只有新建“Microsoft Excel 工作表”时...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:分类器评价指标
举报原因:
原因补充:

(最多只允许输入30个字)