分类器评价指标

原创 2015年07月09日 11:44:29

混淆矩阵 Confusion Matrix

这里写图片描述

  1. Accuracy = (TP+TN)/(TP+FP+TN+FN) ;
  2. Precision = TP/(TP+FP); //预测对的正样本在所有预测为正的样本中的比例
  3. Recall = TP/(TP+FN); //预测对的正样本在所有真正正样本中的比例, 也叫真正类率(True Positive Rate)(TPR)
  4. F1-score = 2*Precision*Recall/(Precision + Recall);
  5. Specificity = TN/(FP+TN);
  6. ROC(Receiver Operating Characteristic)曲线由两个变量绘制,
    横坐标是负正类率(FPR),纵坐标是真正类率(TPR);
  7. AUC(Area Under Curve)为ROC曲线下的面积。

1). Sensitivity = Recall = TPR(True Positive Rate) = TP/(TP+FN);
2). FPR=FP/(FP+TN);
3). Specificity + FPR = 1.

Fb-score是准确率和召回率的调和平均
Fb=[(1+b^2)*P*R]/((b^2)*P+R),比较常用的是F1.

绘制ROC曲线:

http://www.douban.com/note/284051363/?type=like

precision与recall,前者是在预测为正的样本中的比例,后者是在真正为正的样本中的比例,别记混了,找工作可能会问到的!:)

补充: 2016-11-28

map

平均正确率均值MAP(mean average precision)

map可以由它的3个部分来理解:P,AP,MAP。

P即precision,在信息检索领域用的比较多,和precision一起出现的是recall。

对于一个查询返回了一系列文档,precision是指返回的结果中相关的文档占的比例。定义为:precision=返回结果中相关文档的数目/返回结果的数目。
recall是返回结果中相关文档占所有相关文档的比例。定义为:recall=返回结果中相关文档的数目/所有相关文档的数目。

precision只是考虑了相关文档的个数,没有考虑文档之间的序。对一个搜索引擎或推荐系统而言,返回的结果必然是有序的,而且越相关的文档排的越靠前越好。于是有了AP的概念。

对于一个有序的列表,计算AP的时候要先求出每个位置上的precision,然后对所有位置上的precision再求average。如果该位置文档是不相关的,则该位置precision=0,如果相关则计算该位置的precision。如果有4个相关文档,返回值分别排在1,2,5,8位置,则对应的precision为:1/1,2/2,3/5,4/8。那么,AP=(1/1+2/2+3/5+4/8)/4. 可见,AP是对排序位置敏感的,相关文档排序的位置越靠前,检出的相关文档的数目越多,AP值越大。

而MAP就是对所有查询的AP值求均值。

版权声明:

相关文章推荐

深度学习框架Caffe学习笔记(5)-使用gflags解析命令行参数

在Caffe源码中,命令行参数的解析都是用gflags的库。在安装Caffe依赖包的时候就有libgflags-dev这个包。gflags是google开发的开源命令行解析库,使用C++开发,用起来比...

深度学习框架Caffe学习笔记(2)-MNIST手写数字识别例程

MNIST(Mixed National Institute of Standards and Technology)是一个大型手写体数字识别数据库,广泛应用与机器学习领域的训练和测试。MNIST包括...

python学习笔记(一)

数组操作1.python中数据类型转换: 将数组中的float类型的元素全部变为int型的,train_labels.astype(numpy.int)2.numpy.ndarray数组合并np.s...

caffe之CIFAR-10与dropout

CIFAR-10实例 caffe中的CIFAR-10实例重现了Alex Krizhevsky的cuda-convnet中的结果,具体的模型定义、参数、训练步骤等都是按照cuda-convnet中的进...

深度学习调参备忘(一)

CNNs调参备忘:在所有深度网络中,卷积神经网和图像处理最为密切相关,卷积网络在很多图片分类竞赛中都取得了很好的效果,但卷积网调参过程很不直观,很多时候都是碰运气。为此,卷积网络发明者Yann LeC...

图片尺寸批量resize的matlab并行代码

在caffe ImageNet例子中有对图片进行resize的部分,文中使用的是linux shell脚本命令:for name in /path/to/imagenet/val/*.JPEG; do...

Caffe学习(二)Mnist手写数字识别测试与分析

学习caffe,从弄清楚第一个例程开始~~~ 首先进入caffe安装的根目录,cd CAFFE_ROOT,以下所有操作都是默认在该目录下。 1. 获取mnist数据集 bryant@bryant:...

深度学习框架Caffe学习笔记(3)-MNIST例程深入

mnist层负责从lmdb数据库中读取图像数据data和标签label,图像送入CNN结构中处理。CNN结构包括一组用卷积层和下采样层交替形成特征层,以及ip1和ip2两个全连接层。ip2和标签对比,...

weka数据准备

将matlab中的数组数据保存为weka使用的.arff格式的数据:1:先将matlab中的数组数据保存为.csv格式的数据 matlab命令:csvwrite('filename',matrixn...

caffe学习笔记(二)--MNIST实例

LeNet MNIST实例 MNIST手写数字数据库是另外一个更大的手写体数据库NIST的子集,现在已成为图像识别领域用来测试自己的算法的一个基准数据库,它的训练集由60000张手写数字图片样本组成...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)