对weka 度量分类模型优劣指标的说明

原创 2013年12月06日 11:53:09
示例如下:
=== Detailed Accuracy By Class ===
TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class
  0.93      0.002      0.989     0.93      0.959      0.997    体育
  0.93      0.01       0.939     0.93      0.935      0.97     城市
  0.92      0.023      0.868     0.92      0.893      0.978    娱乐
  0.93      0.005      0.969     0.93      0.949      0.991    房产
  0.84      0.043      0.764     0.84      0.8        0.954    新闻
  0.84      0.018      0.884     0.84      0.862      0.95     科技
  0.83      0.028      0.83      0.83      0.83       0.951    财经
指标说明(参考最下面给出的混淆矩阵):
1、TP Rate :true positive rate,TPR简称“真正率” ,即被模型预测为正的正样本比率。TPR = TP /(TP + FN) 正样本预测结果数 / 正样本实际数。以体育类为例,TPR=93/100= 0.93.
2、FP Rate:false positive rate, FPR简称“假正率” ,即被模型预测为正的负样本比率 FPR = FP /(FP + TN) 被预测为正的负样本结果数 /负样本实际数。以体育类为例,FPR=1/600= 0.0017≈0.002。
3、Precision:精确度,即被模型正确预测的样本与所有被预测为正的样本的比率。以体育类为例,被模型正确预测的样本数 = 93,所有被预测为正的样本为94,所以Precision=93/94=0.98936≈0.989.
4、Recall:召回率,即所有该类样本被正确预测的比例。  以体育类为例,总样本数为100,正确预测93个,召回率=0.93.
5、 F-Measure:在weka中F-Measure被定义为(2*Precision*Recall)/(Precision*Recall).  以体育类为例,F-Measure=(2*0.989*0.93)/(0.989+0.93)=1.84/1.92=0.958.
6、ROC Area:ROC曲线下的面积,即Area Under roc Curve(AUC)。这个指标来自医学AUC值介于0.5到1之间,值越大表示分类器越好。该指标与Wilcoxon-Mann-Whitney test 统计指标等价。参见:http://longmans1985.blog.163.com/blog/static/7060547520128194220344/

Correctly Classified Instances         622               88.8571 %
Incorrectly Classified Instances        78               11.1429 %
Kappa statistic                          0.87  
Mean absolute error                      0.2064
Root mean squared error                  0.3049
Relative absolute error                 84.2857 %
Root relative squared error             87.1311 %
Total Number of Instances              700     

=== Confusion Matrix ===
  a  b  c  d  e  f  g   <-- classified as
 93  0  1  0  5  1  0 |  a = 体育
  0 93  1  0  4  0  2 |  b = 城市
  0  0 92  0  6  2  0 |  c = 娱乐
  0  1  2 93  0  2  2 |  d = 房产
  0  2  7  0 84  1  6 |  e = 新闻
  1  1  2  0  5 84  7 |  f = 科技
  0  2  1  3  6  5 83 |  g = 财经

【引用】Weka中分类器指标的说明

【引用】Weka中分类器指标的说明   2012-03-02 16:38:17|  分类: Weka |  标签: |字号大中小 订阅 本文转载自笨笨《Weka中分类器指标...

Weka中分类器指标的说明

Weka中分类器会得到很多指标信息,那么它们都有什么数学意义。我稍微整理了一下供大家参考。 Kappa Statistic,这个指标用于评判分类器的分类结果与随机分类的差异度。( Kappa ...
  • wermnb
  • wermnb
  • 2012年01月06日 21:22
  • 7704

【大数据部落】WEKA文本挖掘分析垃圾邮件分类模型

业务背景 电子邮件的应用变的十分广泛,它给人们的生活带来了极大的方便,然而,作为其发展的副产品——垃圾邮件,却给广大用户、网络管理员和ISP(Internet服务提供者)带来了大量的麻烦...

机器学习分类器模型评价指标

分类器评价指标主要有: 1,Accuracy 2,Precision 3,Recall 4,F1 score 5,ROC 曲线 6,AUC 7,PR 曲线混淆矩阵混淆矩阵是监督学习...

二值分类模型的评价指标

本文简单、扼要的介绍了二值分类模型的评价指标:Precision, Recall, F-Score, ROC and AUC....

分类器模型评价指标

需要提前说明的是,我们这里只讨论二值分类器。对于分类器,或者说分类算法,评价指标主要有accuracy,precision,recall,F-score,以及我们今天要讨论的ROC和AUC。下图是一个...

机器学习知识点(三十六)分类器性能度量指标f1-score

在用python机器学习库scikit-learn训练模型时,常用f1-score来度量模型性能,下面回顾和学习下这个指标。 内容概要¶ 模型评估的目的及一般评估流程分类准确率的用处及...

机器学习之分类性能度量指标 : ROC曲线、AUC值、正确率、召回率

北京 | 高性能计算之GPU CUDA课程11月24-26日3天密集学习 快速带你晋级阅读全文> 在分类任务中,人们总是喜欢基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样...
  • leadai
  • leadai
  • 2017年11月20日 00:00
  • 113

图像分类中混淆矩阵精度验证法中的几个指标说明

ToolBox->Classification->PostClassification->Confusion Matrix->Using Ground Truth ROIs,可以得到如下的分类精度验证...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:对weka 度量分类模型优劣指标的说明
举报原因:
原因补充:

(最多只允许输入30个字)