Learning Image Conditioned Label Space for Multilabel Classification

论文相关内容

本文中解决多标记图像分类问题的方法：

该工作解决了多标签图像分类的问题。受深卷积神经网络(CNNs)在单标签视觉语义嵌入方面取得的巨大成功启发，我们利用这些模型对多标签图像进行扩展。具体来说，我们提出了一个依赖于图像的排序模型，该模型根据标签与输入图像的相关性返回标签的排序列表。与传统的CNN模型学习图像表示(即图像嵌入向量)不同，本文模型从图像中学习映射(即转换矩阵)，试图区分其相关和不相关的标签。尽管我们的方法在概念上很简单，但是在公共基准数据集上的实验结果表明，与其他多标签分类方法相比，该模型在使用较少的训练图像的情况下实现了最先进的性能。

本文主要思想和模型：

*

本文是基于AlexNet模型进行转换矩阵A的学习，通过转换矩阵A把用词向量表示的标签，从d维的词向量空间转换到k维的欧式空间再根据与原点的距离进行相关标签和不相关标签的分类。

损失函数

这是本文所使用的铰链排序损失，它是对每个单独的不相关标签进行损失的求和，用平均相关标签的方式消除了误标签和差样本主导损失的情况。

标签的预测

W ={wi}表示标签集的向量表示。CNN模型接受一个输入图像I并返回一个转换矩阵A。对于每个wi，我们计算wi’ = Awi，并根据L2-norm对标签进行排序，即wi’到新空间原点的距离。检索距离较小的标签。

总结

相关背景：用于单标签视觉语义嵌入的CNNs的成功。
问题是什么：进行多标签图像的分类。
现有解决方案：WARP、CNN-RNN、MIE等方法。
作者的核心思想、创新点在哪里：本文基于视觉语言嵌入模型，提出了一种考虑了多标签之间的关系，学习一个线性转换矩阵来把表示标签的词向量转换到欧式空间进而进行多标签图像分类的模型。
通过什么样的实验进行验证：在NUS-WIDE数据集上使用3个对比算法和查全率、查准率等评价指标进行了多组实验，证明了本文模型的优势。
对我的启发：需习得利用已有的‘器’去解决自己所关注的问题。