Joint Embedding Learning and Low-Rank Approximation: A Framework for Incomplete Multiview Learning

Joint Embedding Learning and Low-Rank Approximation: A Framework for Incomplete Multiview Learning (TCYB2019)

论文链接：https://ieeexplore.ieee.org/abstract/document/8920218

1 论文主要贡献

  提出了一种用于不完整多视图学习的框架：Joint Embedding Learning and Low-Rank Approximation (JELLA)，是目前比较流行的不完整多视图学习方法的一般形式，同时利用 JELLA 可以快速将一些多视图学习方法转化为不完整多视图学习方法，有种自适应的思想； 此外在 JELLA 下，为不完整多视图学习(IML)提出了一种 block-diagonal 表示方法。

2 论文主要内容

2.1 Introduction

Multi-view 中两种数据缺失的情况：
  • missing-view setting：某些视图整个缺失 ；
  • missing variables setting：某些视图中部分变量缺失。
Missing-view setting 与 missing variables setting 共同构成了 incomplete-view setting.
在传统的多视图学习算法中，通常有两种方法来处理不完整的多视图数据：
  • 一种方法是丢弃不完整的示例，这会导致丢失可用信息；
  • 另一种方法是用可用样本的平均值填充缺失样本，并通过传统的矩阵完成算法补充 缺失变量。这样可以保存一些有用的信息，但是仍然会产生误差
为了处理缺少视图的多视图数据，近年来提出了以下的方法(2.2 中详细介绍)：
  • Partial multiview clustering (PVC)：仅针对 missing-view 的情况，通过 NMF 学习完整表达；
  • Multiview learning with incomplete views (MVL-IVs)：基于子空间学习的思想，通过 multiview matrix completion 方法恢复不完整样本；
  • Incomplete multimodality grouping (IMG)：将几何信息合并到表示中，并设计了 IMG 方法。 具体来说，IMG 在公共表示上强加带有自动学习图的流形正则化，以增强 分组可辨性。
  • Doubly aligned incomplete multiview clustering (DAIMC)：基于加权半 NMF，开发了 DAIMC 算法，同时对齐了样本和基础矩阵。
  基于以上四种方法的相似之处，本文提出 JELLA 框架，引入一组低秩矩阵来近似不完整表示。如果没有丢失，则近似矩阵的项将被约束为等于原始数据矩阵的对应项。然后，采用映射函数（例如，线性变换）的概念来从多个视图中学习完整和通用的嵌入。即，通过使 用多个视图的兼容和互补信息，将近似数据矩阵映射到公共表示矩阵。
JELLA 优点：
  • 将 PVC、MVL-IVs、IMG、DAIMC 统一到一个框架中；
  • 在此框架的指导下，为完整的多视图数据开发的某些先前的多视图算法可以直接适 用于 IML.

2.2 JELLA

  其中，$X^{(v)}\in {\mathbb{R}}^{d^{(v)}\times n}$ 为第 $v$ 个视图的原始数据矩阵；$Z^{(v)}\in {\mathbb{R}}^{d^{(v)}\times n}$ 为第 $v$ 个视图补全后的数据矩阵(秩为$r$)；$U^{(v)}\in {\mathbb{R}}^{d^{(v)}}$