深度多标签论文阅读（三）

对阅读的十八篇深度多标签论文进行简要叙述。
十三、 2019-CVPR-Visual Attention in Multi-Label Image Classification
本篇文章提出了一个新的网络去解决多标签问题，该网络结合了多标签图像的分类特征（the features for classification）和图像的视觉显著性特征（如同人对不同图像的注意区域是不同的）（image saliency），因此网络分成两个部分，第一部分进行分类特征产生，第二部分进行视觉显著性特征产生，并在实验中证明显著性特征对多标签分类有很大帮助。

相关工作中提到多标签问题的解决思路过程，从CNN到RNN到CNN-RNN到CNN-LSTM到attention mechanisms，但是这些attention mechanisms并没有详细说明人类视觉注意力显著性特征是如何体现的，之后一部分提到了现今的一些深度显著性预测模型DeepGaze I，DeepGaze
II等等。
Analysis部分分析了Visual Saliency and Multilabel Classification之间的紧密关系，用三个指标进行了衡量，首先是目标图像大小（越大的物体越容易被识别），第二是物体靠近图像的中心（越靠近中心越容易被识别），第三是显著性（the maximum saliency value in an object’s mask）（图像显著性越强的物体越容易被识别）
之后进行网络结构介绍，由图所示，但是没太看懂那个branch是什么玩意，文章最后采用的Multiple Cross Entropy（MCE）也是专门用于多标签分类的。
十四、 2019-ICASSP-DECOUPLING CATEGORY-WISE INDEPENDENCE AND RELEVANCE WITH
文章提出了一种新的多标签注意力模型机制（attention mechanism）将CNN学到的标签特征进行进一步处理之后和相关性学习部份进行结合，最后通过空间池化得出分类得分。CNN处理后产生的特征通过Category-wise space-to-depth部分，此部分分为上采样（为卷积图像保留了更多局部细节信息）和Space-to-Depth Structure部分（将各个标签特征图像进行扩展成m个feature maps,每个特征图描绘了每个标签特征的各部分空间信息）。至于相关性学习分为可选的两个部分，第一部分直接通过CNN产生的特征作为输入（保留更多的局部细节信息），第二部分直接以Category-wise space-to-depth部分输出的multiple feature map作为输入，也就是直接从产生的class-independent features学习class relevance。

We apply a Binary Cross-entropy loss in the training
十五、 2019-ICCV-Learning Semantic-Specific Graph Representation
本篇文章也是一种图方法，整体分为两大部分，第一部分用CNN产生feature，当然这些feature和具体的分类标签没有一一对应起来，将产生的feature送入semantic decoupling module，去学习feature的具体语义特征，在模型中的参数中也加入了具体的标签位置特征作为语义信息，输出的是每一类对应特征向量。之后进行各个标签特征相关性的学习部分，此部分用一个图模型进行构建，通过各标签同时出现的情况和用一个graph neural network进行信息逐层的传递学习
各个标签特征的相关性。

相关工作中提到了一些解决多标签问题的方案：object localization and deep learning techniques相结合的方法，但是localization往往计算冗余很大，有的产生额外的bounding box去训练模型，计算量很大，为了解决这样的问题，用attention mechanism to locate the informative regions,但是由于缺少必要的监督行和引导，这些方法只能很粗糙的定位标签信息。图方法在捕捉相关标签同时出现时十分有帮助。之后又有一些，CNN-RNN, recurrent attention reinforcement learning framework去捕捉图像标签的依赖性，但是RNN时按顺序进行标签依赖关系的捕捉，但是标签依赖性可能存在于各个标签对中。本篇文章的graph propagation mechanism往往能发现各个标签对的依赖关系，并且暗含了特征向量中暗含了category semantics information，因此表现会更好。
十六、 2019-TNNLS-G-Softmax- Improving Intraclass Compactness and Interclass Separability of Features
本篇文章提出了一种新的基于高斯分布的softmax方法，相比于传统的softmax可以提高类内特征紧凑型，和类间特征分离度，其中的过程主要是一些数学原理，较为复杂，不太能看懂。但是此方法能取代传统的softmax并在单标签和多标签分类中都可以应用。


十七、 2019-TNNLS-Reconstruction Regularized Deep Metric Learning
本篇文章涉及到度量学习，主要思想在于构建统一的潜在图像和标签度量空间，使得图像和相应的目标标签距离小于图像和其他临近标签的距离，并且也小于这些临近标签对应的其他图像之间的距离。

左边的Embedding Net将图片和对应标签分别输入CNN和DNN构建一个共同的Latent space，之后输入到右边的Deep Metric Net中，Deep Metric Net分为三个部分，首先最上面用image embedding进行分类模型的构建，之后用于分类的标签预测，并且得出相应的classification loss，最下面的reconstruction module 用label embedding作为输入，用于微调label embedding的表示，也就是标签之间的依赖关系调整，中间的Two-way Distance Metric module作为一个正则化项，去最小化上述的两个距离，并且产生loss1和loss2，这里用到输入图像的KNN和输出label的KNN,也就是为了最小话上述两个距离，使得图像和标签更加discriminative，在每次迭代中都要找到图像和标签的k临近，因此计算量也会比较大。
总的LOSS
训练过程如下：先用ImageNet图像和标签去训练Embedding Net的CNN和DMN的classification module，loss只用第一部分 （交叉熵）。之后我们注意力放在Embedding Net 的DNN和DMN的下面两部分，也就是用 来训练DNN网络和reconstruction module。最后我们用整体loss去微调所有module
十八、 2019-TPAMI-Multilabel Deep Visual-Semantic Embedding
本篇文章并没有用复杂的网络结构或者一些local region attention mechanism或者bounding box之类的方法，而是提出用CNN学到的图像特征去学习一个转换矩阵，将之前的标签特征在word space的杂乱现象改变为相关标签更紧凑，而不相关标签在word space距离变远的形式，这样就可以轻松找到多标签之间的关联关系。

Loss计算过程：因为目的是学习一个转换矩阵A，因此，我们将图片输入CNN后得到一个转换矩阵A， ，将图片的标签分为相关的及不相关的，并分别乘以转换矩阵A，计算二者在word space之间的距离，理想情况下应该是： （pi——positive label , nj——negative label），然后用一种pairwise ranking loss来衡量这个距离和理想距离的差距，之前有的论文用
，
但是还有一种更加平滑的

本文提出的转换矩阵其实是一种线性转换linear transformation，也许用非线性转换会得到标签间更深的依赖关系。