多标签分类的评价指标

$\quad$当前，已有大量的有关多标签分类的评价指标（evaluation metrics）。一般而言，可以分为两大类：（1）一是称为document-pivoted（也可以称为instance-based或者example-based），顾名思义，就是为每个测试文档预测标签；（2）第二类是label-pivoted（也成为label-based），这一类主要聚焦于为每个标签预测文档。每一类又可以包含如下两类预测方法：（1）一是binary predictions，the goal is to make a strict yes/no classification about each test item；（2）二是ranking predictions，the goal is to rank relevant cases above irrelevant cases。因此，我们最终可以得到四种不同的预测任务来评价不同模型的优劣，即：document-binary，document-rank，label-binary，以及label-rank。传统上，多标签分类一般主要强调label-pivoted binary classification task，但是今年来，越来越多的学者开始关注document-pivoted ranking以及binary predictions。

1. 基于排序的评价指标（Rank-based evaluation metrics）

$\quad$Document-pivoted rankings：就是对于每一个测试文档，我们对语料中所有的标签进行排序，我们的总体目标是rank the relevant labels （其实就是该文档中真实包含的标签）higher than the irrelevant labels（其实就是该文档不包括的标签）。
Label-pivoted rankings：就是对于每一个标签，我们对语料中所有的文档进行排序，我们希望将与该标签更相关的文档排在前面，而不相关的文档排在后面。
$\quad$为了方便描述，这里我们只介绍Document-pivoted rankings。具体地指标及描述如下：

（1）Average Precision [0-1]：计算公式为:

$$\begin{equation} AveragePrec(h)=\frac{1}{D}\sum_{i=1}^{D}\frac{1}{|Y_{i}|}\sum_{y\in Y_{i}}\frac{|\{y'\in Y_{i}|rank^{h}(x_{i},y')\leq rank^{h}(x_{i},y)\}|}{rank^{h}(x_{i},y)} \end{equation}$$
这个指标的值是越大越好。文献[5]中对这个指标的描述是：this measure evaluates the average fraction of labels ranked above a particular label $l\in Y_{i}$ which actually are in $Y_{i}$。
（2） One-Error [0-1]：排在最前面的标签是错误的文档数量占语料中文档综述的比例（The percentage of all documents for which the highest-ranked label is incorrect）。假如预料中有 $D$篇文档，其中有 $D_{t}$篇文档排在最前面的标签是错误的(incorrect)，则评价指标的值就是 $\frac{D_{t}}{D}$。更规范化地可以表示为： OneError(h)=1D∑Di=1{ [argmaxy∈