【论文阅读】不完全多视图弱多标签学习的掩模双通道解耦框架

Masked Two-channel Decoupling Framework for Incomplete Multi-view Weak Multi-label Learning

原文链接

本文针对不完全多视图弱多标签学习这一复杂而又高度现实的问题，提出了一种基于深度神经网络的掩蔽双通道解耦框架来解决这一问题。

本文提出了屏蔽双通道解耦框架(简称MTD)，它能够处理部分视图和标签都缺失的情况。这个框架背后的动机是，希望在多个视图中相同样本的底层表示是一致的，同时也希望每个视图显示自己的特征，创造一个困难的平衡行为。当同一样本的每个视图仅由一个特征向量表示时，这尤其具有挑战性。为了解决这个问题，通过双通道编码器显式地将每个视图的潜在特征解耦为两种类型的特征，即共享特征和视图专有特征。还提出了一种新的跨通道对比损耗，它缩小了正对(同一样本不同视图中的共享实例)之间的距离，并扩大了负对(样本的任何跨视图和通道实例对，除了正对)之间的距离。需要注意的是，跨通道对比损失不涉及样本间的比较，因此可以很好地避免上述类冲突问题，提高框架的特征解耦能力。此外，在输入数据中引入随机的mask片段，引导编码器学习有价值的信息。最后，设计了一个弱标签引导图正则化损失，以保持嵌入空间中的几何结构，考虑到标签空间中样本之间的不等距。

方法

问题定义

{X,Y} 多视图多标签数据

W：视图缺失指示矩阵

G：标签缺失指示矩阵

对数据进行预处理，确实的数据进行填充0

双通道解耦框架

通过层叠编码器将异构原始数据映射到维数为d的统一嵌入空间中。采用两组多层感知器作为共享通道和视图私有通道，分别从原始数据中提取共享信息和视图私有信息，esv和eov分别表示视图v的共享特征编码器和视图专有特征编码器。X’(v)表示被屏蔽的输入。S (v) 2r n×de和O(v) 2r n×de是提取的n个样本的多视图共享特征矩阵和视图专有特征矩阵。eov试图挖掘视图之间的共同特征，这保留了所有视图所持有的样本的基本属性，而eov则专注于提取每个视图独有的特征。

提出了一个多视图跨通道对比损耗Lccc来引导这两种特征的分离，方法如下：

S为相似度度量函数，1[Υ]为条件函数:如果条件fΥ: Wi;uWi;v = 1g为真，则1[Υ] = 1，否则为0。N = P u;v Wi;uWi;v表示有效实例对的个数。也就是说，只考虑双方都没有丢失的实例对。s (v) i和o (v) i分别是共享特征s (v)和视图专有特征o (v)中的第i个样本对应的特征。

根据Eq.(1)可知，跨通道对比损耗由两部分组成，即分子为负对相似度的平均值，分母为正对相似度的平均值。更具体地说，将来自2N个通道的实例配对在一起，其中正对由来自不同视图的共享特征组成，其余对被认为是负对。方法实现了双通道模型的设计目标，即鼓励来自不同视图的共享特征之间的一致性，同时保持每个视图的视图专有特征与其他共享或视图专有特征之间的明确区分。

使用加权均方误差损失来衡量重建质量：

所有样本的唯一共享表示S¯和O¯：

结合共享信息和专有信息来学习样本的一致表示，通过专有信息增强共享信息:

Z为最终融合表示

弱标签引导图正则化

根据弱标签矩阵Y计算相似矩阵：

T描述任意两个样本之间的相似度
利用两个样本之间的相似度来约束嵌入特征空间中任意两个样本之间的距离，通过以下损失来达到结构保存的目的：

为了提高计算效率，上述式子可改写为如下：

屏蔽随机特征片段

将原始数据进行掩码操作之后再作为输入数据输入编码器

加权多标签分类和整体损失函数

利用融合嵌入表示Z，采用全连通层作为分类器，将Z映射到标签空间，得到预测结果:

多标签交叉熵损失：

结合跨通道对比损失、重构损失、图嵌入损失、加权多标签分类损失，总损失函数可以表示为：

本文针对iMvWMLC任务提出了一种新的掩蔽双通道解耦框架(MTD)。MTD将以前方法中常用的单通道特征解耦为双通道特征，用于一致性和互补性学习，并为这种设置设计了跨通道对比损失。此外，受图像和文本屏蔽策略的启发，在训练阶段采用随机片段屏蔽策略来减少原始数据的冗余，这导致了明显的性能提升。此外，引入了一种标签引导图约束方法，以确保学习到的嵌入特征保持样本之间的结构信息。广泛的对比和消融实验表明，MTD优于其他先进的方法，并且与任意不完全多视图和弱多标签数据兼容。