cvpr2024 Rethinking Multi-view Representation Learning via Distilled Disentangling

 

多视图表示学习

多视图表示学习是机器学习中的一个重要领域，它致力于从多个不同的数据视角或来源中学习和融合信息，以获得更全面、更鲁棒的数据表示。这种方法的核心思想是，不同的视图可能包含互补的信息，通过综合利用这些信息，可以获得比单一视图更好的表示。

主要特点和应用：

• 利用多源数据：结合来自不同传感器、模态或特征空间的数据。
• 提高表示质量：通过融合多个视图的信息，获得更丰富、更准确的数据表示。
• 增强模型鲁棒性：减少单一视图可能带来的偏差和噪声影响。
• 广泛应用：在计算机视觉、自然语言处理、多模态学习等领域有重要应用。

多视图表示学习的挑战包括如何有效地融合不同视图的信息，以及如何处理视图之间可能存在的冗余或矛盾信息。研究者们提出了各种方法来应对这些挑战，如CCA（典型相关分析）、多视图自编码器等。

摘要：多视图表示学习旨在推导出稳健的表示，这些表示既来自不同数据源的视图一致又特定于视图。本文对该领域现有方法进行了深入的分析，突出了一个普遍被忽视的方面：视图一致表示和视图特定表示之间的冗余。为此，我们提出了一种用于多视图表示学习的创新框架，该框架结合了我们称之为“蒸馏解开”的技术。我们的方法引入了掩码跨视图预测的概念，从而能够从各种来源中提取紧凑、高质量的视图一致表示，而不会产生额外的计算开销。此外，我们开发了一个蒸馏解纠缠模块，可以有效地从多视图表示中过滤掉与一致性相关的信息，从而产生纯视图特定的表示。这种方法显着减少了视图一致和视图特定表示之间的冗余，提高了学习过程的整体效率。我们的实证评估表明，更高的掩码比率显着提高了视图一致表示的质量。此外，我们发现，相对于特定于视图的表示，降低视图一致的表示的维度进一步提高了组合表示的质量

1. 多视图表示学习的基本概念

多视图表示学习是指从多个不同但相关的数据源（或称为“视图”）中学习数据的表示。这些表示需要同时满足两个条件：一是视图一致性，即不同视图之间的表示应该能够相互映射或对齐，以反映数据在不同视角下的共同特征；二是视图特定性，即每个视图都有其独特的、无法被其他视图完全替代的信息。

2. 冗余问题的提出

文章指出，在现有的多视图表示学习方法中，一个普遍被忽视的问题是视图一致表示和视图特定表示之间的冗余。这种冗余可能导致学习到的表示不够紧凑和高效，因为部分信息在两种表示中都被重复编码了。

3. “蒸馏解开”技术的引入

为了解决这个问题，文章提出了一种创新框架，其核心是“蒸馏解开”技术。这一技术通过以下两个关键步骤来减少冗余：

• 掩码跨视图预测：通过引入掩码机制，在预测一个视图的表示时，部分地依赖于其他视图的表示，但同时又通过掩码来限制这种依赖，从而迫使模型从每个视图中提取出更为独特和紧凑的信息。这种机制有助于提取高质量的视图一致表示，同时避免不必要的冗余。
• 蒸馏解纠缠模块：该模块进一步处理多视图表示，通过某种方式（可能是基于信息论或统计学的方法）来识别和过滤掉与视图一致性相关的信息，从而得到更为纯净的视图特定表示。这一过程类似于“蒸馏”，即提取出表示中的精华部分，同时去除杂质。

4. 实验结果与分析

文章通过实证评估证明了其方法的有效性。实验结果显示，更高的掩码比率（即更严格的跨视图依赖限制）能够显著提高视图一致表示的质量。此外，还发现降低视图一致表示的维度（即在保持足够信息量的前提下减少其复杂性）可以进一步提升组合表示的整体质量。这表明，通过减少冗余，模型能够更有效地利用有限的信息资源，从而提高学习效率和表示质量

introduction

多视图表示学习(MvRL)[46]构成了各种多视图应用的基石，如视频理解[7,17]、3D渲染[62]和跨模态检索，在 MvRL 上下文中，“视图”通常是指相机或数据描述符捕获对象的不同角度，例如定向梯度直方图 (HOG) [9] 和尺度不变特征变换 (SIFT) [32]。多视图应用程序的成功依赖于有效地利用每个视图中视图和独特信息（特异性）之间的共享信息（一致性）。然而，从多个来源学习高质量的视图一致和特定于视图的表示提出了一个开放的挑战，

最佳视图一致和特定于视图的表示应该表现出强大的表示能力和最小的冗余。减少这两个方面之间的冗余不仅提高了组合表示的质量，而且降低了后续任务的计算负担。然而，流行的最先进的方法 [3, 11, 22, 56, 57] 通常忽略了最小化一致性和特异性之间冗余的关键方面，如图1所示，由现有端到端的方法导出的表示之间存在显著的相关性，这导致我们提出了一个重要问题：哪些因素有助于多视图表示中的依赖关系。在本文中，我们从解缠结的角度解决了这个问题：、

(i) 在无监督设置中，联合学习（或端到端）范式提出了重大挑战。在解纠缠表示的范围内，大多数端到端MvRL方法旨在通过最大化视图之间的互信息下界来提取视图一致的表示，同时最小化视图之间的互信息上界来导出视图特定的表示。这种方法本质上形成了一个 Min-Max 游戏，为模型在没有补充信息的情况下解决次优解决方案的风险。最近的进展试图通过将辅助约束纳入联合损失函数（例如对抗性 [61] 和对比约束 [18, 21, 42, 49]）来改进模型在学习高质量表示方面的熟练程度。尽管这些方法减轻了联合表示学习的一些限制，但它们通常忽略了一个关键因素：模型最初无法区分视图一致和视图特定信息，导致冗余的积累。我们建议，如果模型可以有效地从多视图表示中剥离与预先存在的知识相关的信息，则剩余的数据将缺乏这些知识。我们将此过程称为“蒸馏解开”。在我们的方法中，视图一致的表示被视为先验知识，其基本原理是这种一致性代表所有视图共有的信息，并且无论视图如何，保持不变。通过识别和排除视图一致的信息，模型可以更准确地隔离每个视图的视图特定表示

(ii) 一致性和特异性之间信息密度的差异。提取特定于视图的信息通常涉及处理单个视图，而视图一致的信息需要从所有视图中集成数据。从多个来源制作统一的表示是复杂的，并且随着视图数量的增加，可能会导致计算资源的显着提高。为了应对这一挑战，一些方法使用多个轻量级视图特定自动编码器来生成多视图潜在表示 [56, 57]，然后使用这些合成表示探索一致性。然而，每个潜在表示都充满了特定于视图的信息，这对减轻这种干扰提出了挑战。我们的解决方案引入了掩码跨视图预测 (MCP) 的概念，这有助于使用单个一致的编码器学习多视图一致性，而不需要额外的计算资源

这是通过选择性地屏蔽部分内容并通过从多视图数据合成可见部分来提示编码器预测掩码内容来实现的。MCP的优点是多方面的:1)它有效地处理所有视图数据，而不增加计算需求;2)掩蔽的随机性有助于最小化视图特定信息的影响;3)增强了视图一致表示的弹性。在此分析的基础上，我们熟练地解决了已识别的挑战。利用掩码跨视图预测(MCP)策略，我们采用单个一致的编码器来处理所有视图，从而产生高质量的视图一致的表示。最初，所有未屏蔽的块同时输入到一致的编码器中，以得出这些表示。此步骤然后使用多个解码器使用相同的视图一致表示来预测各自视图中被屏蔽的内容。这种方法的主要优点是它在同时最小化计算需求的同时提取简洁的一致表示的效率。我们的实验表明，即使掩码率很高，例如 80%，MCP 策略使模型能够学习优于 no-MCP 基线的表示。

为了解决这个问题 (i)，我们冻结了一致的编码器后训练，在特定于视图的表示的蒸馏过程中保持视图一致表示的不变性。此外，我们设计了一个解缠结模块，以最小化一致和特定于视图的表示之间的互信息的上限，从而提取细化的特定于视图的表示。为了防止解缠结模块中的琐碎解决方案，我们将一致和特定于视图的表示连接起来，使用特定于视图的解码器来重建原始数据。这些集成方法最终达到了我们新颖的多视图表示学习方法，我们通过蒸馏解缠结 (MRDD) 对多视图表示学习进行了术语。本文的主要贡献概述如下： • 我们通过解缠结镜头阐明了多视图表示学习中的基本挑战，揭示了这些限制如何阻碍现有模型的有效性。• 我们引入了一个以蒸馏解开为中心的多视图表示学习框架，它为制作低冗余视图一致和特定于视图的表示提供了一个新的视角。我们广泛的实验分析证实了我们的方法相对于当前最先进的方法的优越性。• 我们的实验结果突出了两个关键见解：i) 高掩码率（例如 80%）显着提高了一致表示的质量； ii) 相对于特定表示降低一致表示的维度显着提高了它们组合表示的质量。我们相信这些发现将激发 MvRL 领域的进一步研究。

这篇文章深入探讨了多视图表示学习（MvRL）中的关键挑战，并提出了一种新的方法——蒸馏解缠结（MRDD）来应对这些挑战。以下是对文章内容的详细理解：

多视图表示学习的挑战

1. 视图一致性和特异性之间的冗余：
   • 视图一致性：指不同视图（如不同角度的图像、不同数据描述符）之间共享的信息。
   • 视图特异性：指每个视图独有的信息。
   • 现有方法往往难以有效区分和分离这两种信息，导致表示中存在冗余，降低了表示的质量和后续任务的效率。
2. 无监督学习中的联合学习挑战：
   • 大多数端到端MvRL方法通过最大化视图间的互信息下界来提取视图一致表示，同时最小化上界来导出视图特定表示。这形成了一个Min-Max游戏，可能导致次优解。
   • 现有方法虽然通过引入对抗性约束和对比约束等辅助手段改进了模型，但仍未有效解决冗余问题。

蒸馏解缠结（MRDD）方法

(i) 蒸馏解开

• 基本原理：将视图一致的表示视为先验知识，通过识别和排除这种一致性信息，来更准确地提取视图特定表示。
• 方法：
  • 冻结一致的编码器，保持视图一致表示的不变性。
  • 设计解缠结模块，最小化一致和特定表示之间的互信息上界，以提取细化的特定表示。
  • 使用特定于视图的解码器重建原始数据，防止解缠结模块产生琐碎解。

(ii) 掩码跨视图预测（MCP）

• 目的：使用单个一致的编码器处理所有视图数据，同时最小化计算需求。
• 方法：
  • 选择性地屏蔽部分视图内容，通过从多视图数据中合成可见部分来提示编码器预测被屏蔽的内容。
  • 优点：
    1. 有效处理所有视图数据，不增加计算需求。
    2. 掩蔽的随机性有助于最小化视图特定信息的影响。
    3. 增强视图一致表示的弹性。

实验结果和贡献

• 实验结果：
  • 高掩码率（如80%）显著提高了一致表示的质量。
  • 降低一致表示的维度相对于特定表示，显著提高了组合表示的质量。
• 主要贡献：
  • 通过解缠结视角阐明了MvRL中的基本挑战，揭示了现有模型的局限性。
  • 引入了蒸馏解缠结框架，为制作低冗余的视图一致和特定表示提供了新的视角。
  • 实验结果证明了MRDD方法相对于当前最先进方法的优越性，并提供了两个关键见解，有望激发MvRL领域的进一步研究。

总结

这篇文章通过深入分析多视图表示学习中的挑战，提出了一种创新的蒸馏解缠结方法（MRDD），通过有效地分离视图一致性和特异性信息，并引入掩码跨视图预测策略，实现了高质量、低冗余的多视图表示学习。这一方法不仅提高了表示的质量，还降低了后续任务的计算负担，为MvRL领域提供了新的研究思路。