浅读论文Learning Label Specific Features for Multi-Label Classification (2022/04/10)

idea

在多标签分类学习中，经典的Binary relevance (BR)方法存在类不平衡，计算成本繁重及忽略标签相关性的问题。所以本文提出学习每个标签的标签特定特征来增强分类效果。文中假设每个标签只与原始特征集中的一个特征子集相关联，并且任何两个强相关的类标签可以比两个不相关或弱相关的标签共享更多的特征。

算法流程

用 { ( x 1 , y 1 ) , ( x 2 , y 2 ) , … , ( x 3 , y 3 ) } \{(\mathbf{x}_1, \mathbf{y}_1), (\mathbf{x}_2, \mathbf{y}_2), \dots, (\mathbf{x}_3, \mathbf{y}_3)\} {(x1​,y1​),(x2​,y2​),…,(x3​,y3​)}表示一个多标签数据集，其中${\mathbf{x}}_i=[x_{i1},x_{i2},\dots ,x_{ip}]$表示 $i$-th 样本的特征向量, ${\mathbf{y}}_i=[y_{i1},y_{i2},\dots ,y_{il}]$表示 $i$-th 样本的真实标签集。

学习标签特定特征

文中通过线性回归对标签特定特征的判别式进行建模，并对回归参数采用 L-1 范数对标签特定特征的稀疏性进行建模：

其中, $W=[W_{i1},W_{i1,},\dots ,W_{ip}{]}^T$ 表示第 i 个标签的回归参数, $Y_i=[y_{1i},y_{2i},\dots ,y_{ni}{]}^T$ 表示$Y$的第$i$列。
如果 $W_{ij}=0$, 就表示第 j 个特征对标签 ${\mathbf{y}}_i$ 的判别没有影响, 反之，表示对应的特征对标签 ${\mathbf{y}}_i$ 有判别性，这些特征可以被认为是 ${\mathbf{y}}_i$ 的标签特定特征，标签特定特征的数量会比 p 小得多。

利用标签相关性

其中， $R_{ij}=1-C_{ij}$, $C_{ij}$表示${\mathbf{y}}_i$ 和 ${\mathbf{y}}_i$的相关因子, 文章中通过余弦相似度计算。
同时考虑所有二元分类器，最终的优化公式可以写为：