监督和半监督的跨模态检索类内低秩正则化
摘要：跨模态检索旨在跨不同模态检索相关项，例如，使用图像查询来检索相关文本。现有的深度方法在融合多种模态时忽略了模态内和模态间的类内低秩结构，降低了检索性能。本文提出了两种基于类内低秩正则化的深度模型，分别用于监督和半监督跨模态检索. 具体来说，ILCMR将图像网络和文本网络集成到一个统一的框架中，通过施加三个正则化项来融合跨模态数据，从而学习一个共同的特征空间。首先，为了在标签空间中对齐它们，我们利用语义一致性正则化将数据表示转换为类的概率分布。其次，我们引入了一种模态内低秩正则化，它鼓励来自相同空间的类内样本在公共特征空间中更相关。第三，应用模态间低秩正则化来减少跨模态差异。为了使低秩正则化能够在网络反向传播期间使用自动梯度来优化，我们提出了rank-r近似，并为理论完整性指定了显式梯度。除了三个依赖于ILCMR所包含的标签信息的正则化项，我们还在半监督机制中提出了semi-ILCMR，它在将一般表示投影到公共特征空间之前引入了低秩约束。在四个公开的跨模态数据集上的大量实验证明了ILCMR和Semi-ILCMR相对于其他方法的优越性。
1 Introduction
跨模态检索是多媒体领域中一个日益重要的课题，它使用来自一种模态的数据作为查询来检索来自其他模态的相关信息。由于数据表示和分布中的跨模态差异，多模态数据不能被比较以直接测量它们的相似性。因此，跨模态检索的主要任务是学习一个合适的多模态数据表示空间，在该空间中可以消除跨模态差异，允许直接比较来自不同模态的数据。
近年来，研究人员提出了许多融合跨模态数据并减少其差异的方法。所有这些方法都基于这样的假设来学习公共特征空间，即对于具有相似语义的数据存在潜在的公共空间[27]。一些方法[23]通过线性变换特定于模态的数据来学习这个公共空间。在这个转换过程中，原始数据的某些表示被用作输入，例如图像的直方图特征。然而，这种线性变换降低了检索性能，因为固有的非线性特征不能完全由线性变换来模拟。最近，使用深度神经网络(DNNs) [28，55]获得了公共空间，深度神经网络可以学习比其线性对应物更复杂的数据表示。然而，在这些基于DNN的方法中使用的许多框架被分成两个阶段，首先学习数据表示，然后学习公共空间。一方面，尽管在每个阶段都可以获得次优结果，但是先前学习的特征可能与第二阶段不是最佳兼容的。另一方面，当将跨模态任务分成两个独立的阶段时，在数据表示学习阶段不考虑跨模态相关性。此外，大多数方法在DNN训练期间仅考虑单个正则化项，这忽略了一些固有的数据结构，例如低秩属性。
术语“秩”是线性代数中定义的矩阵的数学性质。矩阵的秩反映了其行或列之间的相关性，即当许多行线性相关时，矩阵具有低秩，反之亦然。低秩表示理论(LRR)已经应用于许多不同的现实世界任务[5，45，48]。在子空间学习中，低秩属性通常被认为是增强子空间的可分辨性[19]。因为来自相同类别的数据在原始空间中是相关的，所以它们在子空间中应该类似地具有相关的表示。在数学上，同类别的数据有望在子空间中形成一个低秩矩阵，这是通过正则化矩阵的秩来实现的。然而，据我们所知，低秩结构仅在单一模态上被考虑，而在跨模态数据上由于它们之间的差异而被忽略。同时，低秩结构仅在线性变换的情况下被探索，并且被基于DNN的模型完全忽略，主要是因为秩最小化是不可微的函数。
本文是我们早期出版物的扩展，该出版物提出了具有跨模态检索的类内低秩约束的深度语义空间(DSSIL) [20]。DSSIL包括两个子网络，将跨模态表示转换到公共特征空间。DSSIL利用语义一致性正则化来融合跨模态数据，并应用模态间类内低秩正则化来减少跨模态差异。DSSIL还提供了rank-r近似来实现低秩约束。本文从四个方面对DSSIL进行了扩展。首先，我们对每个单一模态施加模态内类内低秩正则化，以鼓励原始空间中同一类内的数据在公共空间中更相关。其次，我们提供了rank-r近似的显式梯度。第三，我们提出了一个半监督模型，可以充分利用有限的标记数据和未标记数据。最后，我们进行广泛的实验分析和可视化。
更具体地说，我们提出用于深度监督和半监督的类内低秩正则化跨模态检索(分别表示为ILCMR和SemiILCMR)。除了语义一致性，ILCMR还考虑了模态内和模态间的类内低秩结构。对于每种模态，模态内约束鼓励来自同一类的数据彼此更加相关，而模态间约束减少了跨模态差异。此外，我们提供了rank-r近似的显式梯度，允许以端到端的方式优化网络。在ILCMR的基础上，Semi-ILCMR进一步约束投影层之前的低秩结构。具体来说，在将通用数据表示投影到公共空间之前，Semi-ILCMR将数据矩阵的秩正则化为类别的数量。这样，有限的标记数据可以指导表征学习，而丰富的未标记数据可以通过探索低秩结构来增强学习过程。我们进行了大量的实验来验证ILCMR和SemiILCMR的有效性，包括消融研究、类内低秩分析、模态间融合分析、对batch策略的讨论。
提出一种端到端的ILCMR用于跨模态检索，该检索约束语义一致性和类内和类间数据的低秩结构。
对于不可微秩最小化问题，给出了rank-r近似方法及其显式梯度。
semi-ILCMR模型是通过进一步规范一般数据表示的低秩结构而提出的。
在四个公共数据集上进行了大量的实验分析。
本文的其余部分组织如下。在第二节中，我们回顾了跨模态检索和低秩表示的相关工作。第三节介绍了ILCMR和semi-ILCMR，包括总体框架、目标函数和优化算法。第4节介绍了大量的实验分析，随后是第5节的结论。
2 Related works
2.1 Cross-modal retrieval
在跨模态检索的背景下，查询和检索数据库源于不同的模态。一方面，它们来自不同的数据分布和表示；因此，它们的相似性无法直接计算。另一方面，跨模态数据可能共享相同的语义，并且彼此相关。一种常见的方法是将数据从不同的表示空间转换到一个公共空间，在那里可以直接比较它们。传统的线性方法学习一对线性变换矩阵，将跨模态数据投影到公共空间。典型相关分析(CCA) [15]通过最大化公共空间中跨模态数据之间的相关性来学习转换矩阵。例如，Kernel-CCA [15]通过非线性投影将样本从原始空间转换到特征空间，然后在特征空间中应用线性典型相关分析算法。使用核技巧避免了特征空间的显式构造。其他工作[23]利用了成对信息，并使用排序规则学习线性变换矩阵，即，在公共空间中，与查询相关的对象被期望比不相关的对象排序更高。一些研究人员已经将跨模态数据投影到标签语义空间，然后最小化模态间的不变性[50]。这些工作通常采用部分特征表示作为数据输入，例如图像的直方图特征。然而，这些局部特征不足以很好地描述原始数据的特征。此外，线性变换矩阵不能完全提取数据的内在结构，数据的内在结构预计是非线性的。
随着DNNs的日益普及，基于DNN的跨模态检索方法[44]已经成为主流。Deep-CCA [47]是CCA的深度版本，采用深度网络而不是线性变换。一致自动编码器(Corr-AE) [13]是一种深度模型，它首先获取特定于通道的表示，然后通过两个子网络执行数据重建和跨模态相关性挖掘。跨媒体多重深度网络(CMDN) [26]通过多个网络学习每个模态的特征表示，然后使用堆叠网络获得共同表示。混合表征学习(HRL) [1]首先学习模态友好和模态交互表征，在此基础上获得混合表征，然后使用堆叠双模态自动编码器实现共享表征。对抗性跨模态检索(ACMR) [39]利用对抗性训练来融合两种模式。DLA-CMR [36]采用字典学习来重构区别性共同特征。GSS-SL [52]构建了一个局部相似图，以利用未标记的数据和学习特征。图表示学习方法(GRL) [3]建立一个交叉模态图来重建原始数据及其关系，然后用它来学习一个公共表示空间。深层关系相似性学习方法(DRSL) [41]利用成对相似性来弥补异质性差距。跨模态相关学习(CCL) [28]考虑了两阶段学习期间的模态间关系和细粒度问题。一些研究人员使用预先训练的网络提取了一般的数据表示，并在第二阶段将其投影到标签空间[18，54]。因为一般的跨模态表征缺乏交互作用，并且对于后续阶段可能不是最佳的，所以两阶段策略不能学习最合适的表征来满足跨模态任务的最终目标[17]。在contract中，端到端的跨模态方法同时学习特定模态和公共模态表示；然后，所有的网络都可以在最终目标下进行优化[17]。深度语义匹配(deep-SM) [42]将跨模态检索问题转化为分类问题，将标签分布视为语义表示。类似地，Situ等人[38]学习了用于跨模态事件检索的深度语义空间(DSS)。然而，这些方法在DNN训练期间仅考虑单个正则化项，并且忽略了固有的低秩数据结构。最近的工作倾向于结合多种正则化。深度对抗度量学习(DAML) [46]通过对抗学习减少异质差距，并同时约束特征的区分和相关性。语义ranking结构保持(SRSP) [24]提出了一个公共空间，其中标签之间的依赖关系和表示的相关等级被保持。也有一些哈希工作[32，37，40]将样本表示为二进制代码，并使用XOR运算符计算相似性。例如，UCH [22]提出了用于跨模态检索的耦合cycleGAN:外部GAN用于学习公共表示，内部GAN用于生成哈希码。这种类型的二进制表示加速了检索过程，但是由于量化误差而降低了检索质量。
总之，当前的跨模态检索方法存在以下缺点。1)它们经常使用不充分代表原始数据的部分描述的特征。2)在两阶段学习策略中，第一阶段网络不能与检索损失函数联合调整。3)忽略了数据的内在属性，如低秩结构。4)大多数方法都受到监督，因此需要劳动密集型的标签操作。
2.2 Low-rank representation
数学上，矩阵的秩被定义为其线性无关向量的数量。当许多向量最大程度地相关时，矩阵是低秩的，反之亦然。LRR的概念已经应用于许多任务[11，12，43，51]。这些方法通常基于字典学习或图学习，它们使用重构系数矩阵作为数据表示或数据图中的边权重。为了使相似数据在子空间中更相关，系数重构矩阵必须是低秩的。Wen等人[43]应用来发现固有子空间结构，并自适应地构建用于聚类的图。费等[12]将两两相似关系引入；因此，它可以捕捉数据的全局低秩结构和局部相似结构，这有助于学习更具判别力的数据图以进行分类。丁等人[8]在零样本学习的背景下实现了LRR。其他方法倾向于直接约束潜在子空间中的低秩结构。同一类内的原始数据相似；因此，在子空间中，类内表示构成矩阵，该矩阵的秩预期较低。Kang等人[19]将所有数据转换到子空间，并最小化类内数据的秩。邱等人[33]最小化了子空间内数据的秩，最大化了子空间间数据的分离。此外，丁等[7]将应用于跨域学习。莱萨马等人[21]提出了深度网络的即插即用损失项，明确减少了类内方差，同时加强了类间余量。然而，大多数提出的方法只关注单模态数据。
一般而言，类内低秩结构仅在单一模态上进行探索，而其在跨模态数据中解决差异的应用被忽视。第二，低秩结构仅在使用线性变换而不是DNNs时被探索。这主要是因为秩最小化问题的不可微属性，这使得它不能以梯度友好的方式被优化。
3 Methodology
在这一节中，我们首先公式化跨模态检索问题。然后，我们提出了框架和详细的目标函数的ILCMR，其次是一个替代优化策略。最后，描述了semi--ILCMR。
3.1 Notation
不失一般性，我们集中于两种模态，图像和文本，来说明跨模态检索的问题。我们将图像(v)和文本(t)数据库表示为Dm，m∈{v，t}，Dm = DmL ∪ DmU，DmU是未标记的数据，DmL = {dmLi}nmLi=1是标记的数据，nmL是模态m中标记样本的数量。带标签的数据也可以分类描述为标签是one-hot编码记为Ym={ymi}i=1nml,带标签的数据也可以分类描述为DmL ={Dm(k)L }k=1C ,C是类别数。
因为图像和文本具有不同的表示，所以很难直接比较它们来实现跨模态检索。为解决这个问题，跨模态方法首先使用神经网络fm，m∈{v，t}从每个模态中提取一般表示，然后通过映射层gm，m∈{v，t}将这些表示投影到公共空间。我们用Zm = fm(Dm，θm)表示一般表达式，其中θm是网络参数。在执行映射层之后，我们获得一个公共表示Xm = gm(fm(Dm，θm)，ωm)，其中ωm是映射层参数。具体来说，Xm = XmL ∪ XmU 。 XmL = {xmLi}nmLi=1是有标签的常见表示，也可以表示为XmL = {Xm(k)L }Ck=1。
3.2 The ILCMR framework
ILCMR框架如图1所示。它以端到端的方式将数据从不同的图像和文本空间转换到一个公共空间。该框架在公共空间学习期间使用三个监督正则化项，包括语义一致性、模态内类内低秩结构和模态间类内低秩结构，以诱导区分性表示。下面，我们将详细介绍ILCMR的组成部分。
图1 ILCMR和semi-ILCMR框架。在ILCMR中，公共空间中的J1、J2和J3受到约束。Semi-ILCMR还在投影层之前添加了低秩结构约束
3.2.1 Image network
图像网络由预训练的ResNet50和映射层组成。存在许多适合于图像特征学习的模型；在本文中，我们选择ResNet50作为主干，原因如下。首先，ResNet [16]模型在过去几年中已经展示了令人印象深刻的图像分类性能，并且它们具有较轻的参数负担，这有利于在网络训练期间进行微调。第二，作为DSSIL的扩展，ILCMR更侧重于探索低秩结构来融合跨模态数据；因此，我们采用了与DSSIL相同的网络，以确保公平的比较。正如图1所示，原始图像被输入到网络中。输入层后面是全连接的映射层，其输出维度等于类别的数量。注意，图像网络中的所有参数都是在训练期间学习的。
3.2.2 Text network
文本表示比图像表示更具识别性，从文本特征空间到公共语义空间的映射更容易实现[42]。文本网络一般采用全连接层[18，20]；为了确保公平比较，我们设计了一个三层全连接网络(FC层)作为文本网络。这个网络将文本特征空间映射到语义空间，并学习常见的文本表示。前两层中的每一层之后是非线性校正线性单元激活函数(ReLU)。与图像网络类似，最后一个FC层是映射层。对于文本，我们提取词项频率-逆文档频率(TF-IDF)特征，并使用它们作为网络的输入。或者，一些预训练的模型，如BERT [6]和ELMo [29]也可以用来提取文本特征。文本网络中的参数统称为θT，在训练过程中学习。
3.2.3 Semantic consistency
跨模态数据是相关的，并且具有相同的语义标签。为了保持跨模态数据之间的语义一致性，通过softmax函数将它们的公共表示转换为类别上的概率分布。因此，我们利用预测的类别分布和一个one-hot编码的ground truth之间的交叉熵作为语义一致性损失。
3.2.4 Intra-modal intra-class low-rank structure 模态内类内低秩结构
矩阵的秩被定义为其线性无关向量的最大数量。在某种意义上，秩描述了矩阵的信息量:当向量相关时，矩阵是低秩的，反之亦然。对于单个模态，同一类内的原始数据是相似的；因此，矩阵形式的类内表示预计是低秩的，形成低维子空间。
在ILCMR中，我们提出了一种模态内类内低秩正则化，它导致类内样本之间的高度相关性。理想情况下，我们期望类内表示彼此更加相似。因此，我们将每个表示视为一个行向量，并使用类内向量构建一个矩阵。此外，我们最小化每个类内矩阵的信息量，即矩阵的秩被promoted为低。因此，网络能够提取同一类别中样本的相互作用特征。
3.2.5 Inter-modal intra-class low-rank structure 跨模态类内低秩结构
ILCMR还调整当前任务的模态间类内低秩结构。类似于模态内场景中，我们将由同一类别内的跨模态数据样本组成的矩阵约束为低秩。值得注意的是，低秩正则化由于其不平滑的性质，很少被纳入DNN框架。我们引入rank-r近似算法来解决秩最小化问题，这将在下一节中详述。
3.3 Objective function
ILCMR学习跨模态检索的公共空间。在这个公共空间中，来自同一语义类别的样本应该是相似的，而来自不同语义类别的样本应该是不相似的。为了获得跨模态数据之间的语义一致性，它们的表示通过softmax函数被转换成语义类别上的概率分布。此外，我们使用预测类别分布和one-hot编码标签之间的交叉熵损失。
假设向量x∈RC是一个带有标签y ∈ RC的常见表示(可以是图像或文本)。我们可以通过softmax函数预测其类别分布
其中xk是x的第k个元素。给定预测的类别分布，然后我们利用交叉熵损失。
为了保持图像和文本之间的语义一致性，我们在语义空间中对齐它们，导致
然后，为了提高类内样本的相关性，我们同时对每个单独的模态施加模态内类内低秩结构。对于每个模态，我们聚集第k类中的共同表示，并构造矩阵Xm(k)L ∈ R(nm(k)L×C)，其秩最小化。我们通过模态内类内低秩损失项(4)为图像和文本模态约束这种类型的结构:
其中rank()表示秩。此外，我们正则化模态间的类内低秩结构，以减少跨模态差异。我们将公共空间中同一类内的跨模态样本分组为一个矩阵，并最小化其秩。模态间类内低秩损失定义如下
通过组合(3)、(4)和(5)，我们获得了ILCMR的最终目标函数:
其中λ1和λ2是反映各项相对贡献的系数。
3.4 Optimization
目标函数(6)在网络反向传播期间难以优化，因为秩是不可微的，并且秩最小化不能自动导出。因此，我们提供rank-r近似来优化秩最小化问题，允许通过使用随机梯度下降(SGD)来自动优化整个目标。
设A是秩为r的矩阵，其中r预计很小。我们通过下面的秩-r近似来解决不可微秩最小化问题。首先，使用奇异值分解(SVD)对A进行分解。然后，对其奇异值进行降序排序。最后，我们最小化最后一个(s-r)奇异值，换句话说，我们最小化1和最大r奇异值之间的误差，如下所示:
其中{δi}si=1表示A的排序奇异值，s是这些奇异值的计数。我们可以看到ρ(A，r)促使A的秩为r。
(7)中的近似值是合理的。矩阵的秩是通过计算其非零奇异值的个数来计算的。直观上，我们可以通过将最小奇异值最小化为0或者将最大奇异值最大化为1来近似这个问题，如(7)所示。理论上，我们证明秩-r近似公式如下。
Proposition 1 假设我们有一个奇异值为{δi}si=1的矩阵A。然后我们有
这里r < s是秩r近似参数
Proof 满秩矩阵A可以用SVD方法分解，即A=U∑VT ， 其中∑=diag(δ1，δ2，...，δs)，其中{δi}s i=1为奇异值，其数值按公式(9) [9]排序:
矩阵的秩是通过计算其非零奇异值来计算的；因此，A的秩是s。
EC kart-Young-Mirsky理论[14]假设较低秩矩阵更接近原始矩阵。假设秩为r的矩阵B是矩阵A的低秩近似，{ξi}si=1是B的奇异值，即，
其中r < s是b的秩。
众所周知，矩阵的奇异值是固定的[53]。因此，如果B是矩阵A的低秩近似，我们可以导出(11)。
再者，我们有δi≈ξi=0，i=r+1，r+2，…，s.因此，我们可以最小化最小奇异值，
通过正则化(12)，我们可以获得(7)的近似值。
这种近似是可微的，A的导数可以通过链式法则计算如下:
其中ui和vi分别是A的左、右奇异矩阵的第i个向量。这个符号。/'表示元素除法运算。详细的推导可以在附录a中找到。
3.5 Semi-supervised ILCMR
ILCMR是一种有监督的方法，其中所有的训练样本都应该被标记以指导模型训练。然而，在现实世界中，大多数数据可能是未标记的。因此，能够使用大量未标记的数据是至关重要的。为此，我们还提出了一种半监督ILCMR (Semi-ILCMR)，它在训练过程中利用了未标记的数据。正如ILCMR中提到的，正则化数据矩阵的低秩结构可以促进相似样本获得相似的特征表示。在semi-ILCMR中，我们正则化整个数据矩阵的低秩结构——包括标记和未标记的数据。因此，标记样本可以用于监督模型训练，而未标记样本可以帮助学习与那些标记样本相似的特征表示。
具体来说，如图1所示，我们可以从ResNet获得图像的标记和未标记的一般表示，从FC层获得文本的一般表示。因为ILCMR是一种将标记数据投影到公共空间的监督方法，所以半ILCMR在将一般表示投影到公共空间之前利用未标记的数据。更详细地说，我们将标记的和未标记的一般表示组合成一个矩阵，然后调整它的秩以匹配类别的数量。因此，标记的类内表示和它们相似的未标记的表示将是接近的。类似于ILCMR，我们也正则化模式内和模式间的低秩结构。对于模态内低秩结构，我们将所有模态内一般表示分组在一起，并约束秩以匹配类别的数量，其公式如下:
其中ρ()在(7)中定义。对于模态间低秩结构，我们将所有数据堆叠成矩阵，正则化表示为:
通过进一步利用ILCMR中的标记数据，semi-ILCMR的总体目标如下:
4 Experimental evaluation
为了验证ILCMR的有效性，我们在四个公开的跨模态数据集上进行了实验。我们将ILCMR与最先进的跨模态检索方法进行了比较，并进行了进一步的分析，包括消融、参数敏感性、优化器分析、文本嵌入讨论和收敛性研究。我们还检验了类内低秩约束和跨模态数据融合的有效性。
4.1 Datasets
四个公共数据集的详情如下:表1总结了他们的统计数据。
表1实验中使用数据集的统计数据，其中“实例”列中的“*/*/*”表示训练/验证/测试子集中的实例数量
文章中的实验部分也是比较详细，这里就不做翻译，有需要大家可以自己去看原文。
5 Conclusion and future work
本文提出了一种深度监督和半监督的跨模态检索算法，分别命名为ILCMR和Semi-ILCMR。基于我们之前的工作[20]，ILCMR在公共特征空间中施加了额外的模态内类内低秩约束，使得来自原始空间的同一类内的数据在公共空间中更相关。在优化方面，ILCMR使用秩最小化近似的显式梯度。我们提出了半ILCMR算法，通过在投影层之前约束低秩结构，该算法只需要少量的标签监督。实验验证了ILCMR和SemiILCMR的有效性。其他分析，包括类内低秩属性、跨模态数据融合、批处理策略和每个正则化的影响，显示了所提出方法的有效性。
在今后的工作中，我们计划在三个方面展开工作。首先，将该模型应用于多模态数据，探索多模态检索和分类。第二，我们计划探索不完整多模态数据的低秩结构，其中一些模态可能会丢失。第三，看不到类别的检索场景也在计划中。通过约束低秩结构，期望学习更多的共同特征。
个人感想：读完这篇文章，整体思想比较容易理解，其实作者主要针对跨模态检索中忽略了模态间和模态内的低秩结构这一问题，提出了模态内类内低秩正则化损失，鼓励来自相同空间的类内样本在公共特征空间中更相关，这样做主要是基于单个模态，同一类内的原始数据是相似的，因此矩阵形式的类内表示也应该是低秩的。此外还提出跨模态类间低秩结构减少跨模态差异。类似于模态内场景中，将由同一类别内的跨模态数据样本组成的矩阵约束为低秩。 最后由于秩是不可微的，作者给出rank-r近似由于秩最小化问题，允许通过使用随机梯度下降(SGD)来自动优化整个目标。对于证明过程也给出了详细推导。这里牵扯到一些矩阵特征值求解的问题，由于这部分知识的欠缺，理解起来比较费劲，不过可以多参考一些其他的博客。
最重要的还是理解文章的思想，可能对矩阵秩的正则化看的比较少，个人觉得这篇文章的想法还是很有意思的，值得一看。
若有错误之处，欢迎大家指正！
512
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
