LIFT: Multi-Label Learning with Label-Specific Features

LIFT: Multi-Label Learning with Label-Specific Features笔记整理

背景

这篇为论文是Label-Specific Features在多标签应用的开篇之作
因为这篇文章较为简单，直入主题看作者如何构建标签具体的特征

THE LIFT APPROACH

首先这篇文章是一个first-order的多标签算法，意味着其没有考虑标签的相关性，而是一个标准的BR算法。因此作者将N个标签分开考虑。
首先对于第k的标签，作者现将其分类正样本和负样本。
之后作者利用聚类分类来获取$P_k$和$N_k$的额外信息，这里是作者最终的一个insight。我们来看作者如何说的:

To gain insights on the properties of $P_k$ and $N_k$, LIFT chooses to employ clustering techniques which have been widely used as stand-alone tools for data analysis.

Insight:我们来看看其中的逻辑关系，因为作者需要将多标签问题建立一个模型，因此最简单的一个方法就是将其变为多个二分类问题。之后，为了构建label-specific feature，作者采用了聚类分析。这里有一个潜在的点需要注意，也是本文的核心所在。由于对于每个标签来说，正样本集$P_k$和负样本集$N_k$是不同的，因此在聚类分析的时候，每个标签下的聚类结果是不同的，这就导致了每个标签获得的特征是不同的。
Note:
1.先说一下这个方法的缺点之一就是没有考虑标签之间的一个相关性问题，这是显而易见的。

大家都知道，聚类算法像K-means的一个问题就是聚类个数很难确定，这里作者用一个ratio和样本数量来确定聚类中心，这是一个启发式的算法。另外作者另外一个Insight就是类不平衡问题的解决，为了解决这个问题，作者将正负样本的聚类个数化为相同。

Multi-label learning tasks usually encounter the issue of class-imbalance [59], where the number of positive instances for each class label is much smaller than the number of negative ones, i.e. |Pk| ≪ |Nk|. To mitigate potential risks brought by the class-imbalance problem, LIFT sets equivalent
number of clusters for Pk and Nk, i.e. m+k = mk = mk. In this way, clustering information gained from positive instances as well as negative instances are treated with equal importance.

之后作者根据正样本和负样本的数量来确定聚类的中心

之后就是label-specific feature构建的关键，作者利用聚类中心和样本的距离作为一个新的特征集合。

Cluster centers identified by the k-means algorithm characterize the underlying structure of the training instances with regard to $l_k$, which can be served as appropriate building blocks (prototypes) for the construction of label-specific features.

其实这种构建新的特征集的想法在其他文章也见很多了，因此可以算一个insight。

Note:
1.作者根据聚类中心构建了新的特征集合。这种想法能否迁移到其他领域当中。比如异质图，我们构建一个Struct-Specific feature来构成新的数据集，然后再进行分类。本质上就是改变节点的特征。
或者根据分层的思想，将其考虑为多个层，每个层一个具体的特征，然后将其构建多层的一个分类器，就是每一层一个特征集合，然后将每一层的特征集合
Layer-Specific feature最后结合起来进行总体分类。

最后作者就是利用一个SVM分类器构建了K个分类器，这没啥说的。