当前,已有大量的有关多标签分类的评价指标(evaluation metrics)。一般而言,可以分为两大类:(1)一是称为document-pivoted(也可以称为instance-based或者example-based),顾名思义,就是为每个测试文档预测标签;(2)第二类是label-pivoted(也成为label-based),这一类主要聚焦于为每个标签预测文档。每一类又可以包含如下两类预测方法:(1)一是binary predictions,the goal is to make a strict yes/no classification about each test item;(2)二是ranking predictions,the goal is to rank relevant cases above irrelevant cases。因此,我们最终可以得到四种不同的预测任务来评价不同模型的优劣,即:document-binary,document-rank,label-binary,以及label-rank。传统上,多标签分类一般主要强调label-pivoted binary classification task,但是今年来,越来越多的学者开始关注document-pivoted ranking以及binary predictions。
1. 基于排序的评价指标(Rank-based evaluation metrics)
Document-pivoted rankings:就是对于每一个测试文档,我们对语料中所有的标签进行排序,我们的总体目标是rank the relevant labels (其实就是该文档中真实包含的标签)higher than the irrelevant labels(其实就是该文档不包括的标签)。
Label-pivoted rankings:就是对于每一个标签,我们对语料中所有的文档进行排序,我们希望将与该标签更相关的文档排在前面,而不相关的文档排在后面。
为了方便描述,这里我们只介绍Document-pivoted rankings。具体地指标及描述如下:
(1)Average Precision [0-1]:计算公式为:
AveragePrec(h)=1D∑i=1D1|Yi|∑y∈Yi|{ y′∈Yi|rankh(xi,y′)≤rankh(xi,y)}|rankh(xi,y)
这个指标的值是越大越好。文献[5]中对这个指标的描述是:this measure evaluates the average fraction of labels ranked above a particular label l∈Yi which actually are in Yi 。
(2) One-Error [0-1]:排在最前面的标签是错误的文档数量占语料中文档综述的比例(The percentage of all documents for which the highest-ranked label is incorrect)。假如预料中有 D 篇文档,其中有Dt 篇文档排在最前面的标签是错误的(incorrect),则评价指标的值就是 DtD 。更规范化地可以表示为: OneError(h)=1D∑Di=1{ [argmaxy∈