多视图深度矩阵分解

前两篇文章分析了多视图矩阵分解的主要的思路。这篇文章主要总结一下深度矩阵分解的思路：

1. Multi-View Clustering via Deep Matrix Factorization   2017 AAAI
这篇文章受 deep semi-NMF那篇文章的启发，做的一篇多视图的文章。其目标函数如下：

第一项为每个视图的deep semi-NMF，第二部分为流形正则。 alpha 是权重项。Z_i通过求导等于0 求得。H_m利用NMF的更新方式来计算。代码

2. Deep graph regularized non-negative matrix factorization for multi-view clustering。Neurocomputing  2020。

这篇文章提出了一种类似于multilayer-NMF的深度NMF方法。详细的深度矩阵分解的理论详见“Deep Matrix Factorizations”。这篇文章的深度NMF方法实际上就是Deep Matrix Factorizations中
说的第二种方法。这篇文章的目标函数如下：

 第一项为多视图深度NMF，第二项为最小化最后的输出，第三项为流形正则。这篇文章的问题是参数过多。本来深度模型的参数就有很多（层数L,每次的维度D），再加上这三个实在有点多。这种深度模型的好处是可以对每层的输出进行正则。

如果从更高的层次来看的话其实目标函数中的第二项也可以看做是深度分解的最后一层，只是这一层有点特殊。

3. Multi-view Clustering via Deep Matrix Factorization and Partition Alignment . 2021 MM

这篇文章与文献1思路相似，区别在于最后的融合方式不同。

4. Multiview Concept Learning via Deep Matrix Factorization.  2021 TNN

我觉得这篇文章是第一篇利用的深度NMF模型来学习的多视图学习算法。与1的区别的是增加了限制了基矩阵的元素大于等于0. 此外是基于Concept Learning的正则方法。其目标函数为：

 基矩阵的迭代方式U与系数矩阵的V一致。目标函数中第一项为深度NMF，后面的为Concept Learning的限制项。

5. Sparse Deep Nonnegative Matrix Factorization。   BIG DATA MINING AND ANALYTICS 2019

深度非负矩阵分解的目标函数如下：

 第一部分是深度矩阵分解，第二部分是W的限制。

6.Deep Approximately Orthogonal Nonnegative Matrix Factorization for Clustering。2017 arxiv

这篇文章的出发点是We assume that by incorporating fine-tuning technique, features learned by DAONMF are also beneficial to the clustering analysis.
目标函数如下：

 第一部分表示深度矩阵分解，第二部分表示正交限制。感觉与文献5相似，区别在于是Wl,还是Hl。那种解释都没毛病？？？两篇文章的优化方式不同，文献5利用NeNMF算法中的优化方式。文献6的优化方式与NMF一致。文献6的MATLAB代码，见连接。code(需翻墙下载)。

7.Deep Non-Negative Matrix Factorization Architecture Based on Underlying Basis Images Learning  2021 PAMI

他认为之前的文章“only the basis matrix W1 obtained by the first layer factorization is directly related to the original images, which reflects the shallow localization features..The obtained new feature by this architecture cannot be considered as the true underlying feature”。意思就是“只有第一层保留原始特征的信息，导致最后得到的最终的表示不能得到真的底层特征”。

The coefficient matrix of each layer is essentially the weighting coefficient in the process of sample reconstruction, and there is no actual physical meaning about the factorization on the coefficient matrix. The optimization of the basis matrix is still indirect and the purpose of this deep factorization architecture is weak.
 

它目标是：

目标函数如下：

第一部分为分解，第二部分为W是的正则限制项。

8. Multi-view Clustering with Deep Matrix Factorization and Global Graph Refinement

其目标函数如下：

我觉得与1的区别在于做了一个自适应学习S的正则项。

9.Uniform Distribution Non-Negative Matrix  Factorization for Multiview Clustering

其目标函数如下：

该模型的第一部分源自于NMTF，本质上可分为两部分（1） X= UY;(2)Y = HV;

（1）用来计算数据X的低维表示Y，（2）用来得到数据的类别属性。。两部分混合得到 X= UHV.

从本质上来讲，第一部分模型等价于两层的深度非负矩阵分解。区别在于好模型假设各个视图的第一层得到的表示，在同一空间中。后面两项为图正则项，和多视图一致性限制项。

未完待续

原创不易，谢绝转载！！！