论文阅读笔记：Deep Extreme Multi-label Learning

0、简介

• 论文名字：Deep Extreme Multi-label Learning
• 下载地址：https://dl.acm.org/doi/abs/10.1145/3206025.3206030
• 会议：ICMR 2018

1、motivation

本文的任务是极限多标签分类（XML），XML和普通的多标签分类的区别是XML的标签量巨大。本文使用度量学习（deep metric learning）的方法学习输入x的embedding，使用图表示学习的方法学习label的embedding，然后使用基于KNN的方法完成多标签分类。

2、算法步骤

（1）deep metric learning

首先来介绍一下度量学习。我也是在看这篇论文的时候才知道有这么个方法，该方法似乎更常用于图像领域。下面引用这篇博客https://zhuanlan.zhihu.com/p/145706950中的一句话来简单说明度量学习。

度量学习也称之为相似度学习,主要目的就是使得模型具有很好的拉近同类样本,远离异类样本的能力

本文使用度量学习来学习输入x到embedding的映射函数$f_x:=F(x,W)$其中W是待学习的参数。

（2）学习y和x的embedding

本文将label 也就是y构图，通过图来学习y的embedding$f_y$。每个label为图的节点，当两个label至少在同一个x中存在时，那么两个label代表的节点之间存在边。构建好label的图后，本文使用DeepWalk的方法学习节点的表示，在这里，节点的表示即是label的embedding，用$f_y$表示。

label的embedding学习到后，使用度量学习的方法来学习x到embedding的映射函数$f_x:=F(x,W)$。

上面公式用来计算给定x和所对应label的距离和，其中h是距离函数。

上面的公式用来计算给定n个训练数据，x和对应label的距离总和。度量学习是为了拉近同类样本,远离异类样本，因此本文认为x和其对应的label的embedding应该有更近的距离，那么模型优化的目标就是最小化$L(W)$，通过最小化$L(W)$，可以得到更优的参数W，对应x到embedding的映射函数$f_x:=F(x,W)$也就学习到了。

（3）Cluster Embedding Space

x到embedding的映射函数$f_x:=F(x,W)$学习好后，使用$f_x:=F(x,W)$计算训练集所有x的embedding$f_x$。接着，使用K-means的方法将$f_x$聚为m类，并得到每一类的中心点$z^i$。
到这里模型的训练步骤结束。

（4) Prediction stage

• 对于待预测的x，使用函数$f_x:=F(x,W)$计算embedding $f_x$，然后和每个$z^i$计算距离，找到离x最近的那个类
• 在离x最近的那个类中，使用K-NN方法选择k个离待预测x最近的k个样本。
• 将得到的k个样本的label进行统计，选出出现频率最高的top （p）的label作为最后预测的label。

3、我的想法

本文的一个创新点在于在多标签分类任务中考虑了label信息，并将label构图，使用DeepWalk学习label的表示。后面很多多标签分类的论文在label构图的时候都参考了他的方法。