weka使用训练集分类测试集_科学网—使用独立测试集对分类模型进行评估 - 李向东的博文...

这两天还是纠结于分类模型的准确率。因为对从网上随机摘录的文本进行分类时，结果总是不甚理想，不像使用cross-validation得到的结果那么好。

于是决定使用独立测试集(含1402个实例)进行评估。训练集实例9804个，特征9302个，没有使用特征选择。准确率大约78%，其中“历史”和“艺术”有点分不清。结果如下：

-------------------------------------------------------------------------

weka.filters.unsupervised.attribute.StringToWordVector in:9804

Number of instances: 9804

Number of attributes: 9302

loading test data in:test_segmented......

weka.filters.unsupervised.attribute.StringToWordVector in:1402

weka.filters.unsupervised.attribute.ReplaceMissingValues in:9804

weka.filters.unsupervised.attribute.Normalize in:9804

evaluating.........

=== Detailed Accuracy By Class ===

TP Rate   FP Rate   Precision   Recall  F-Measure   ROC Area  Class

0.91      0.008      0.901     0.91      0.905      0.993    C11-Space

0.455     0.001      0.938     0.455     0.612      0.928    C15-Energy

0.464     0          1         0.464     0.634      0.974    C16-Electronics

0.556     0.001      0.938     0.556     0.698      0.989    C17-Communication

0.98      0.031      0.705     0.98      0.82       0.985    C19-Computer

0.588     0.003      0.833     0.588     0.69       0.96     C23-Mine<