多分类问题中每一类的Precision-Recall Corve曲线以及ROC的Matlab画法

转载 2013年12月01日 21:37:46

转载来自:http://www.zhizhihu.com/html/y2010/2447.html


这两天写论文中,本来设计的是要画这个Precision-Recall Corve的,因为PRC是从信息检索中来的,而且我又做的类似一个检索,所以要画这个图,但是我靠,竟然发现不好画,找了很多资料等。最后也没画好,多么重要好看实用的图啊,可惜了。

今天就花了一点功夫,专门为自己弄了个工具包,用来计算多分类问题中的Precision-Recall Corve、混淆矩阵Confusion Matrix并且进行可视化输出。

不过Precision-Recall Corve对于每一类的画法还是很有讲究的,我们知道对于二类问题,像是检索中的问题,最后的查全率、查准率基本都是最后计算一对值就行了,但是就一对值,一个点是画不出曲线来的,所以在实际的曲线过程中,是这样的:

1、首先得分为正负两类,多类问题真对每一类都可以映射过去

2、按照决策值(分类问题每一个样本肯定会有一个支持分类的概率或者置信度等等,像是libsvm的dec_values的矩阵),按照从小到大的顺序进行排序

3、然后分别计算全部样本、全本样本-1、全部样本-2、...........、一直计算完毕,每一次都会有查全率查准率,就可以曲线了,这里我说的很粗糙,详细的可以查看我的代码,当然也有函数参考的别人的,也做了说明。

    correct result / classification
    E1 E2
obtained
result / classification
E1 tp
(true positive)
fp
(false positive)
E2 fn
(false negative)
tn
(true negative)

Precision and recall are then defined as:

\mbox{Precision}=\frac{tp}{tp+fp} \,
\mbox{Recall}=\frac{tp}{tp+fn} \,

Recall in this context is also referred to as the True Positive Rate, other related measures used in classification include True Negative Rate and Accuracy:[1]. True Negative Rate is also called Specificity.

\mbox{True Negative Rate}=\frac{tn}{tn+fp} \,
\mbox{Accuracy}=\frac{tp+tn}{tp+tn+fp+fn} \,

------------------

我的计算这些东西的代码包:

PG_Curve.zip: Matlab code for computing and visualization: Confusion Matrix, Precision/Recall Curve, ROC, Accuracy, F-Measure etc. for Classification.

红色的跳跃的就是最原始的曲线,绿色的是一个人的平滑算法。

http://ir.sdu.edu.cn/bbs/attachments/month_1012/1012172034d1e2d6d504d716da.jpg

http://ir.sdu.edu.cn/bbs/attachments/month_1012/101217203403151cad8caff4c3.jpg

http://ir.sdu.edu.cn/bbs/attachments/month_1012/10121720348c1ce9557ab3335a.jpg


相关文章推荐

Precision/Recall和ROC曲线

【Precision/Recall的基本概念】转载自http://www.zhizhihu.com/html/y2010/2137.html。查准率和查全率是信息检索效率评价的两个定量指标,不仅可以用...

准确率(Precision)、召回率(Recall)、F值(F-Measure)、ROC、AUC

下面简单列举几种常用的推荐系统评测指标: 1、准确率与召回率(Precision & Recall) 准确率和召回率是广泛用于信息检索和统计学分类领域的两个度量值,用来评价结果的质量。...

Recall(召回率);Precision(准确率);F1-Meature(综合评价指标);true positives;false positives;false negatives..

Recall(召回率);Precision(准确率);F1-Meature(综合评价指标);       在信息检索(如搜索引擎)、自然语言处理和检测分类中经常会使用这些参数,介于语言翻译上的原因...

多分类问题中查全率和查准率的理解(Precision-Recall)

查全率查准率是从信息检索来的,那么我们就得先看看原来的是怎么定义的: 查全率——它是指检出的相关文献量与检索系统中相关文献总量的比率,是衡量信息检索系统检出相关文献能力的尺度。 查准率——它是指检出的...

Precision和Recall

原文出自:http://blog.csdn.net/wangran51/article/details/7579100 最近一直在做相关推荐方面的研究与应用工作,召回率与准确率这两个概念偶尔...
  • pirage
  • pirage
  • 2013-08-09 11:02
  • 44456

利用Hog特征和SVM分类器进行行人检测

转载来自:http://blog.csdn.net/carson2005/article/details/7841443#comments 之前介绍过Hog特征(http:/...

多分类问题中每一类的Precision-Recall Curve曲线以及ROC的Matlab画法

这两天写论文中,本来设计的是要画这个Precision-Recall Curve的,因为PRC是从信息检索中来的,而且我又做的类似一个检索,所以要画这个图,但是我靠,竟然发现不好画,找了很多资料等。最...

SVM算法的生动讲解

版权声明:     本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用,但请注明出处,如果有问题,请联系whe...

五种JSP页面跳转方法详解

五种JSP页面跳转方法详解   1. RequestDispatcher.forward()  是在服务器端起作用,当使用forward()时,Servlet engine传递HTTP请求从当前的Se...

如何绘制precision——recall曲线和confusion矩阵

precision——recall曲线在模式识别和分类问题论文中很常见,定义维基百科已经给的很清楚了,它能较好的反映分类器的性能但是画起来却没有想象中的容易,我们选定一个分类阈值,再次阈值下统计到如下...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)