广义多视图分析方法(Generalized Multiview Analysis,GMA)是多视图学习领域的一种技术,旨在处理多个视图或来源的数据,以便在这些视图中找到潜在的共同结构

这种方法特别适合于处理多模态数据,其中数据可以从不同的角度或通过不同的传感器获取。

GMA的一个核心思想是,虽然每个视图可能提供对数据的不同观察,但所有视图共享一个潜在的共同表示。

公式和解释
典型相关分析(CCA)的扩展

广义多视图分析方法可以看作是对典型相关分析(CCA)的扩展。CCA是一种统计方法,用于寻找两个随机变量集合之间的线性关系,最大化它们之间的相关性。对于多视图数据,GMA尝试最大化所有视图之间的相关性,而不仅仅是两两之间的。

目标函数

假设我们有 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习 个视图的数据,每个视图的数据集可以表示为 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_02,其中 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_03
对于每个视图,我们想要找到一个投影 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_04 使得投影后的数据 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_05 在所有视图的共同子空间中具有最大的相关性。

GMA的目标函数可以表示为:

经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_06

其中,

  • 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_07 是视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习_08 和视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习_09 之间的互协方差矩阵。
  • 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_10 是视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_11自协方差矩阵。
  • 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_12 表示矩阵的(trace),即对角元素的总和。
  • 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_13 是第 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_11 视图的投影矩阵,用于将该视图的数据映射到共享的低维子空间。
公式解释
  • 互协方差矩阵 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_机器学习_15:衡量视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_16 和视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_多视图_17 之间的线性相关性。它是通过计算两个视图中相应特征的平均乘积来获得的。
  • 自协方差矩阵 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_18:描述视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_19 内部特征的线性相关性。它通过计算视图 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_19特征的协方差矩阵得到。
  • 投影矩阵 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_21:用于将原始数据 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_22 映射到一个低维空间。目的是找到一个空间,在这个空间中,所有视图的数据尽可能相关。
约束条件

通常,还需要一些约束条件来防止 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_04 发散。常见的约束是让 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_数据_04 正交,即 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习方法_25,其中 经典子空间学习的多视图学习方法——广义多视图分析方法(Generalized Multiview Analysis,GMA)_学习_26单位矩阵
这样可以确保投影矩阵不会放大任何特定的特征,从而保持数据的尺度不变性。

实现

广义多视图分析方法的实现通常涉及到求解一个广义特征值问题,这可能需要数值线性代数技巧,如奇异值分解(SVD)或广义特征值分解。

GMA提供了一种强大的工具来处理多视图数据,特别是在需要融合来自不同源的信息以进行更准确的分类、聚类或预测时。

通过最大化视图之间的相关性,GMA能够揭示隐藏在多模态数据背后的潜在结构,这对于许多高级数据分析任务至关重要。