文本挖掘与分析第五周学习笔记2--评估文本分类结果

如何评估分类结果：

方法：Cranfield创造检验校正：
ground truth:可以重复检验不同的系统，进行比较。
比较系统分类的结果
比较系统决策：哪个文档应该属于哪个分类；作者设定了哪些分类给文档
量化决定的相似度；等价衡量系统输出和理想输出之间的不同
比较方法时可以不考虑误差差异，允许误差的存在。

分类正确率：衡量正确决定率的基础

人决定：正确（+）；错误（-）
系统决定：正确（Y）；错误（N）
分类正确率=人决定和系统决定相同的个数/总的决定个数=Y（+）+N（-）/KN
分类正确率越大越好