文章目录
  • 基本概念
  • 自表示张量学习
  • 核心概念
  • 关键技术
  • 应用价值
  • 例子
  • 步骤如下：
  • 1. 构建三阶张量
  • 2. 自表示张量学习
  • 3. Tucker 分解
  • 4. 迭代优化
  • 实际应用
  • Tucker分解自表示张量
  • 基本概念
  • 核心张量与因子矩阵
  • 应用
  • 优化方法


基本概念

完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）是一种专为多视图数据设计的学习方法，旨在通过考虑多视图数据的关联性和差异性，来改善数据表示并促进后续的聚类任务。
tRLMvC主要由两部分组成：多视图数据的自表示张量学习和Tucker分解自表示张量。

  1. 多视图数据的自表示张量学习：这一部分首先将原始多视图数据表示为三阶张量，这样的设计确保了多视图数据在输入阶段就能相互影响。利用具有循环卷积功能的t-product操作来学习自表示张量。t-product是专门针对张量设计的操作，能够深入探索多视图数据间的相关性，不仅考虑了同一视图内样本之间的联系，也考虑了不同视图间的关联性。这样可以更全面地利用多视图数据中蕴含的信息互补性。
  2. Tucker分解自表示张量：在获得了自表示张量之后，通过应用Tucker分解进一步提炼信息。Tucker分解不仅能够降维，还能在量化各视图数据的重要性的同时，获得数据的统一低维表示。分解过程会得到三个矩阵{U, V, W}，其中W矩阵显示不同视图的重要性，而U和V则代表了在潜在子空间中多视图数据的两种表示方式。最终，通过合并U和V矩阵得到低维表示矩阵H，它被视为数据的统一表示，可以输入到如k-means或谱聚类等传统聚类算法中进行进一步的分析。
  • tRLMvC的关键优势在于，它不是简单地假设各视图数据相互独立或贡献等同，而是通过Tucker分解机制来自动量化不同视图对最终表示的贡献度，这在以往的多视图学习方法中通常是被忽略的。
  • 迭代优化这两个步骤，可以有效增强模型的学习效果，使得从多视图数据中抽取的信息更加准确和自适应，进而提高了数据表示的精确度和聚类性能。
  • 此外，tRLMvC模型的提出，解决了多视图数据表示学习中的挑战，即如何有效利用视图间的互补信息以及如何确定从各视图抽取多少信息量，从而在多视图数据的复杂性和丰富性中找到了一个有效的平衡点。

自表示张量学习

多视图数据的自表示张量学习是一种复杂而强大的方法，用于从多个来源或特征视角（视图）的数据中提取一致性和互补性的信息。

这种方法特别适用于那些通过不同传感器、特征提取方法或者数据模式捕获的同一对象或事件的数据集。以下是关于多视图数据自表示张量学习的详细介绍，包括核心概念、流程、关键技术及应用价值。

核心概念
  1. 多视图数据：指的是从不同角度或特征空间描述同一组对象的数据集合。每个视图提供了对象的不同侧面信息，这些信息可能是互补的、冗余的或独立的。
  2. 自表示学习：是一种策略，其中数据对象可以通过数据集中其他对象的线性组合来表示，这通常通过学习一个自表示矩阵来实现，矩阵中的元素表示对象间的权重或相似度。
  3. 张量：是多维数组的推广，可以看作是向量（一阶张量）和矩阵（二阶张量）的高维扩展。在多视图学习中，三阶或更高阶张量被用来统一表示不同视图的数据，从而捕捉高阶相关性。
关键技术
  1. 三阶张量表示：首先，将多视图数据整合为一个三阶张量，其中三个维度分别对应视图、样本和特征。这种表示方式确保了多视图数据在输入层面就相互关联，为后续的高阶相关性挖掘打下基础。
  2. t-product操作：针对张量的特殊乘法操作，t-product被用于学习自表示张量。它模拟了矩阵乘法在张量环境下的行为，特别是对于循环卷积的处理，能够有效探索视图间和视图内的数据相关性。
  3. Tucker分解：是一种张量分解方法，类似于矩阵的奇异值分解（SVD），但应用于更高维的张量。Tucker分解将张量分解为几个较小的张量和向量的乘积，能够揭示数据的低维结构，同时量化不同视图的重要性，为每个视图分配一个贡献度权重。
  4. 优化目标与算法：自表示张量学习的目标通常包括最小化重构误差、引入正则化项（如稀疏性、低秩性）以去除噪声和冗余信息，并通过迭代算法（如交替最小化或梯度下降）优化模型参数，确保模型的稳定性和有效性。
应用价值
  • 数据表示增强：通过捕捉不同视图之间的高阶相关性，自表示张量学习能生成更为全面且具有代表性的数据表示，这对于聚类、分类、检索等下游任务性能的提升至关重要。
  • 噪声抑制与特征选择：在学习过程中，可以通过正则化项来自动筛选重要特征，抑制噪声干扰，使得学习到的表示更能反映数据的本质结构。
  • 视图间互补性利用：多视图数据的互补性是其重要特性，自表示张量学习通过量化各视图的贡献度，可以有效融合各视图的独有信息和共同信息，提升模型的泛化能力和鲁棒性。
  • 不完整数据处理：在部分视图信息缺失的情况下，自表示张量学习方法能够利用其他视图的信息来辅助缺失视图的表示学习，增强模型的实用性。

总之，多视图数据的自表示张量学习是一种高级的表示学习技术，它通过高阶张量操作和分解技术，有效整合了多源信息，解决了多视图数据表示中的复杂挑战，如维度高、噪音大、视图间差异性和互补性等，为多视图数据分析和机器学习任务提供了强大的支撑。

例子

设想有一个电影推荐系统，需要从不同维度（视图）理解用户对电影的偏好，以便提供更加个性化的推荐。这个系统可以收集以下三个视图的数据：

  1. 文本评论视图：用户对电影的文本评论，包含了大量的主观感受和情感表达。
  2. 评分视图：用户对电影的评分，这是一个量化的评价，反映了用户对电影的整体满意度。
  3. 观看行为视图：用户的观影历史，包括观影时间、是否重复观看等，这反映了用户对某部电影的实际兴趣程度。

在这个场景下，我们可以使用多视图自表示张量学习方法来融合这些信息，以得到更精准的用户偏好模型。

步骤如下：
1. 构建三阶张量

首先，将三个视图的数据整合为一个三阶张量 T，其中第一维代表视图（文本评论、评分、观看行为），第二维代表用户，第三维代表电影。例如，张量的一个元素 T[1, u, m] 可以表示用户 u 对电影 m 的文本评论的某种编码表示（如TF-IDF向量）。

2. 自表示张量学习

利用具有循环卷积功能的 t-product 操作学习自表示张量 S，这一步旨在深入探索不同视图数据间的相关性。比如，通过 t-product 可以发现用户 u 对某部电影的正面文本评论与高评分之间的关联，以及与频繁重复观看行为的共现模式。

3. Tucker 分解

接下来，对自表示张量 S 应用 Tucker 分解，这一步不仅可以降低张量的维度，便于后续处理，而且能够量化各视图的重要性。分解后的因子包括核心张量、每个视图的因子矩阵等，这些可以解释为不同视图对用户偏好模型的贡献度。

4. 迭代优化

通过迭代执行自表示学习和张量分解，不断调整模型参数，以最大化模型对用户偏好的表达能力，同时确保模型的泛化性能。在这个过程中，可以引入正则化项来防止过拟合，如稀疏性约束，以剔除无关紧要的信息。

实际应用

经过这样的学习过程，系统可以得到一个统一的低维表示，该表示融合了用户对电影的文本情感、量化评价以及行为习惯等多个方面的信息。这个表示可以用来改进推荐算法，如通过相似度计算找到与用户偏好高度匹配的新电影，从而提高推荐的准确性和个性化水平。

Tucker分解自表示张量

Tucker分解是一种高级的张量分解方法，可以视为高阶版本的主成分分析（PCA），广泛应用于数据降维、特征提取、张量子空间学习等领域。
与传统的二维矩阵分解（如PCA或Singular Value Decomposition, SVD）不同，Tucker分解能够处理多维数据，即张量，这些数据在许多实际问题中非常常见，比如图像处理、文本分析、推荐系统和神经科学等。

基本概念

给定一个完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_多视图阶的三阶张量完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_多视图_02，Tucker分解将其表示为一个核心张量（Core Tensor）完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_03与三个因子矩阵（Factor Matrices）完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_学习方法_04, 完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_05, 和 完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_06的乘积形式。其中，P, Q, R是沿各个模式（modes）的分解秩。分解公式可以表示为：

完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_07

这里的符号“完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_08”表示第n个模式上的乘积操作，即将核心张量与相应的因子矩阵沿着该模式相乘。

核心张量与因子矩阵
  • 核心张量 完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_数据_09：是一个较小的张量，其尺寸为完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_多视图_10，包含了原始张量的主要信息和交互效应。
  • 因子矩阵 完整多视图数据表示学习方法 tRLMvC（Tensor-based Robust Low-rank Matrix Learning for Multi-view Clustering）_机器学习_11：每一个因子矩阵捕获了原始张量在对应维度上的主要特征方向。
应用
  • 数据降维：通过选择较小的(P, Q, R)，可以降低数据的复杂度，便于后续处理和分析。
  • 特征提取：因子矩阵提供了对原始数据不同维度上的结构化表示，可用于进一步的特征选择或分类任务。
  • 去噪：Tucker分解可以通过设置合适的秩来去除数据中的噪声。
  • 压缩：在存储和传输大量多维数据时，分解后的表示占用的空间更小。
  • 预测建模：在某些场景下，分解得到的因子可以作为输入到其他模型中，进行预测或分类。
优化方法

Tucker分解的实现通常涉及两种主要算法：

  • Higher-Order Singular Value Decomposition (HOSVD)：这是一种直接的分解方法，首先对张量进行按模式的奇异值分解，然后通过这些奇异值构造核心张量和因子矩阵。
  • Higher-Order Orthogonal Iteration (HOOI)：这是一种迭代方法，用于寻找更精确的近似解，通过交替最小化误差来优化核心张量和因子矩阵。

总之，Tucker分解提供了一种强大的工具，用于理解和处理复杂的多维数据结构，是现代数据分析和机器学习领域的重要技术之一。