基于典型相关性分析的多视图学习方法（基于半监督学习的 CCA）——泛化能力的多视图分析模型（GMA）

泛化能力的多视图分析模型（Generalized Multi-view Analysis, GMA）是由Sharma等人提出的，旨在扩展传统无监督的典型相关分析（Canonical Correlation Analysis, CCA）至有监督学习和更广泛的数据分析场景。

GMA的核心在于能够处理多源异构数据，同时考虑数据的标签信息，以提高模型的泛化能力和预测准确性。

GMA的目标

GMA的主要目标是学习一个共同的低维表示，这个表示能够最大化来自不同视图的数据之间的相关性，同时考虑到数据的类别标签信息。

这使得GMA不仅能够处理无监督的多视图数据，还能有效地利用有监督信息，从而在预测任务中获得更好的性能。

GMA的数学框架

假设我们有 $V$ 个视图的数据 { X v } v = 1 V \{\mathbf{X}_v\}_{v=1}^{V} {Xv​}v=1V​ ，其中每个 ${\mathbf{X}}_v$ 是一个 $N\times d_v$ 的矩阵，代表 $N$ 个样本在第 $v$ 个视图下的 $d_v$ 维特征。

此外，假设每个样本都有一个类别标签 $\mathbf{y}$ 。

GMA的目标是找到一组投影矩阵 { W v } v = 1 V \{\mathbf{W}_v\}_{v=1}^{V} {Wv​}v=1V​ ，其中 ${\mathbf{W}}_v$ 是 $d_v\times m$ 的矩阵， $m$ 是期望的共同表示的维度。

投影矩阵的作用是将每个视图的高维数据映射到一个共同的低维空间，使得在这个空间中数据的相关性被最大化。

GMA的损失函数

GMA的损失函数通常包含两部分：多视图相关性损失和监督损失。

多视图相关性损失

多视图相关性损失旨在最大化所有视图在共同表示空间中的相关性，可以表示为：
$$L_{correlation}=-\sum _{i<j}^V\frac{{\mathbf{w}}_i^T{\Sigma }_{ij}{\mathbf{w}}_j}{\sqrt{{\mathbf{w}}_i^T{\Sigma }_i{\mathbf{w}}_i\cdot {\mathbf{w}}_j^T{\Sigma }_j{\mathbf{w}}_j}}$$
其中，

• ${\mathbf{w}}_i$ 和 ${\mathbf{w}}_j$ 分别表示第 $i$ 和第 $j$ 个视图的投影向量。
• ${\Sigma }_{ij}$ 是第 $i$ 和第 $j$ 个视图的协方差矩阵。
• ${\Sigma }_i$ 和 ${\Sigma }_j$ 分别是第 $i$ 和第 $j$ 个视图的自协方差矩阵。

监督损失

监督损失考虑了数据的类别标签信息，可以表示为：
$$L_{supervised}=-\sum _{v=1}^V\log p(\mathbf{y}|{\mathbf{X}}_v{\mathbf{W}}_v)$$
其中，

• $p(\mathbf{y}|{\mathbf{X}}_v{\mathbf{W}}_v)$ 表示给定第 $v$ 个视图的投影数据 ${\mathbf{X}}_v{\mathbf{W}}_v$ 时，类别标签 $\mathbf{y}$ 的概率分布。

GMA的总损失函数

GMA的总损失函数是上述两部分损失的加权和：
$$L_{GMA}=L_{correlation}+\lambda L_{supervised}$$
其中，

• $\lambda$ 是控制多视图相关性损失和监督损失相对重要性的超参数。

GMA的训练过程

GMA的训练过程涉及使用梯度下降或其他优化算法来最小化上述定义的总损失函数 $L_{GMA}$ 。

这意味着要调整投影矩阵 { W v } v = 1 V \{\mathbf{W}_v\}_{v=1}^{V} {Wv​}v=1V​ ，以找到最优的共同表示，既保持了不同视图间的最大相关性，又充分考虑了数据的类别标签信息。

结论

泛化能力的多视图分析模型（GMA）是一种强大的多源数据融合技术，它不仅能够处理传统的无监督CCA场景，还能够有效利用有监督信息，提高模型在复杂数据集上的泛化能力。

通过优化上述损失函数，GMA能够在多种应用场景中展现出优越的性能，特别是在处理多模态、多视图数据时。