对weka 度量分类模型优劣指标的说明

原创 2013年12月06日 11:53:09
示例如下:
=== Detailed Accuracy By Class ===
TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class
  0.93      0.002      0.989     0.93      0.959      0.997    体育
  0.93      0.01       0.939     0.93      0.935      0.97     城市
  0.92      0.023      0.868     0.92      0.893      0.978    娱乐
  0.93      0.005      0.969     0.93      0.949      0.991    房产
  0.84      0.043      0.764     0.84      0.8        0.954    新闻
  0.84      0.018      0.884     0.84      0.862      0.95     科技
  0.83      0.028      0.83      0.83      0.83       0.951    财经
指标说明(参考最下面给出的混淆矩阵):
1、TP Rate :true positive rate,TPR简称“真正率” ,即被模型预测为正的正样本比率。TPR = TP /(TP + FN) 正样本预测结果数 / 正样本实际数。以体育类为例,TPR=93/100= 0.93.
2、FP Rate:false positive rate, FPR简称“假正率” ,即被模型预测为正的负样本比率 FPR = FP /(FP + TN) 被预测为正的负样本结果数 /负样本实际数。以体育类为例,FPR=1/600= 0.0017≈0.002。
3、Precision:精确度,即被模型正确预测的样本与所有被预测为正的样本的比率。以体育类为例,被模型正确预测的样本数 = 93,所有被预测为正的样本为94,所以Precision=93/94=0.98936≈0.989.
4、Recall:召回率,即所有该类样本被正确预测的比例。  以体育类为例,总样本数为100,正确预测93个,召回率=0.93.
5、 F-Measure:在weka中F-Measure被定义为(2*Precision*Recall)/(Precision*Recall).  以体育类为例,F-Measure=(2*0.989*0.93)/(0.989+0.93)=1.84/1.92=0.958.
6、ROC Area:ROC曲线下的面积,即Area Under roc Curve(AUC)。这个指标来自医学AUC值介于0.5到1之间,值越大表示分类器越好。该指标与Wilcoxon-Mann-Whitney test 统计指标等价。参见:http://longmans1985.blog.163.com/blog/static/7060547520128194220344/

Correctly Classified Instances         622               88.8571 %
Incorrectly Classified Instances        78               11.1429 %
Kappa statistic                          0.87  
Mean absolute error                      0.2064
Root mean squared error                  0.3049
Relative absolute error                 84.2857 %
Root relative squared error             87.1311 %
Total Number of Instances              700     

=== Confusion Matrix ===
  a  b  c  d  e  f  g   <-- classified as
 93  0  1  0  5  1  0 |  a = 体育
  0 93  1  0  4  0  2 |  b = 城市
  0  0 92  0  6  2  0 |  c = 娱乐
  0  1  2 93  0  2  2 |  d = 房产
  0  2  7  0 84  1  6 |  e = 新闻
  1  1  2  0  5 84  7 |  f = 科技
  0  2  1  3  6  5 83 |  g = 财经
版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

【引用】Weka中分类器指标的说明

【引用】Weka中分类器指标的说明   2012-03-02 16:38:17|  分类: Weka |  标签: |字号大中小 订阅 本文转载自笨笨《Weka中分类器指标...

Weka中分类器指标的说明

Weka中分类器会得到很多指标信息,那么它们都有什么数学意义。我稍微整理了一下供大家参考。 Kappa Statistic,这个指标用于评判分类器的分类结果与随机分类的差异度。( Kappa ...
  • wermnb
  • wermnb
  • 2012-01-06 21:22
  • 7113

【大数据部落】WEKA文本挖掘分析垃圾邮件分类模型

业务背景 电子邮件的应用变的十分广泛,它给人们的生活带来了极大的方便,然而,作为其发展的副产品——垃圾邮件,却给广大用户、网络管理员和ISP(Internet服务提供者)带来了大量的麻烦...

二值分类模型的评价指标

本文简单、扼要的介绍了二值分类模型的评价指标:Precision, Recall, F-Score, ROC and AUC.

机器学习分类器模型评价指标

分类器评价指标主要有: 1,Accuracy 2,Precision 3,Recall 4,F1 score 5,ROC 曲线 6,AUC 7,PR 曲线混淆矩阵混淆矩阵是监督学习...

分类器模型评价指标

Spark mllib 自带了许多机器学习算法,它能够用来进行模型的训练和预测。当使用这些算法来构建模型的时候,我们需要一些指标来评估这些模型的性能,这取决于应用和和其要求的性能。Spark mlli...

分类器模型评价指标

需要提前说明的是,我们这里只讨论二值分类器。对于分类器,或者说分类算法,评价指标主要有accuracy,precision,recall,F-score,以及我们今天要讨论的ROC和AUC。下图是一个...

机器学习各类工具weka、scikit-learn等各项指标的对比

以下表格摘自:http://www.shogun-toolbox.org/ 另推荐机器学习软件汇总网站 http://mloss.org/software/ ...

机器学习各类工具weka、scikit-learn等各项指标的对比

以下表格摘自:http://www.shogun-toolbox.org/ 另推荐机器学习软件汇总网站 http://mloss.org/software/ fea...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)