论文笔记：Reciprocal Multi-Layer Subspace Learning for Multi-View Clustering

Reciprocal Multi-Layer Subspace Learning for Multi-View Clustering

1 摘要

文章提出的算法：用于多视图聚类的交互多层子空间学习算法。有两个主要组成部分：分层自表示层 Hierarchical Self-Representative Layers (HSRL)和反向编码网络Backward Encoding Networks (BEN)。
（1）HSRL：
构造与潜在表示相连接的互反多层子空间表示，以分层恢复高维数据所在的底层低维子空间。
（2）BEN：
探索不同视图之间的复杂关系，并隐式强制所有视图的子空间彼此一致且更可分离。
不同的视图共享一个公共的潜在的聚类结构，基于这个假设，文章将视图特定的子空间表示共同规范为一致的子空间表示，以增强不同视图的结构一致性。

2 研究方法—RMSL

A、研究框架

构造了与潜在表示层H链接的多层子空间交互表示，以分层恢复数据潜在的簇结构。即：多层子空间表示在联合框架中相互提高，反向编码网络BEN从公共表示H中重构视图特定的自我表示，使H能够灵活地综合多个视图的综合信息，反映数据点之间的内在关系。
特点：
采用反向编码网络BEN将多个特定视图的子空间{${\Theta }_s^v$}${}_v^V$表示编码为潜在表示H，这一点非常重要，因为子空间表示可以反映数据的潜在簇结构。

B、多视图表示学习

两个训练的准则：一类是基于多视图表示学习的深度神经网络方法，基于自动编码器，为了更好的重构输入学习共享的表示，另一类是基于典型的相关分析（CCA), 将不同的视图通过最大化它们的相关性投射到一个共同的空间中，例如深度规范相关分析(DCCA)

C、提出的方法

（1）分层自表示层（HSRL）
兼顾特定视图的自表示和公共视图潜在的自表示，建立目标函数，来更新HSRL的权重参数：
损失函数与自表示有关，采用F范数用于重构损失以平缓噪声的影响，采用核范数用于正则项去保证类内高的一致性，因此目标函数改写为：

注意：F范数和核范数性质特点，其中F范数是指矩阵的每个元素的平方和的开方，核范数||W||_*是指矩阵奇异值的和。
（2）反向编码网络（
BEN）
引入反向编码网络探索不同视图之间复杂的关系，同时构造潜在的表示H，而不是将不同的视图注入到一个公共的低维空间中。最后建立构造H的损失函数：

BEN是由M个全连接层组成的，它能够非线性的编码不同视图的互补信息成一个公共的潜在表示H。然后引入一个正则项增强模型的泛化能力。
（3）HSRL+BEN
联合优化目标函数：

模型构造了相互关联的多层子空间表示和一个潜在的描述，以分层恢复数据的簇结构，并寻找所有视图共享的数据的公共分区。

D、模型优化

（1）
（2）
（3）
（4）

3 实验测试

4 参考文献

1. 各种范数的理解
2. 范数和正则化总结
3. 论文代码