ONMF正交非负矩阵分解·论文总结

《迁移学习》K-Means算法&非负矩阵三因子分解（NMTF） - 知乎

前言

        非负矩阵分解（Nonnegative matrix factorization,NMF）目前有着广泛的应用：环境、模式识别、多媒体、文本挖掘、DNA基因表达以及分类/聚类。NMF的研究追溯到1970sG. Golub的初步探索到 Paatero[1]的广泛研究。Lee and Seung[2,3]在机器学习和数据挖掘领域对NMF的研究工作带来广泛的关注。他们揭示NMF因子（即F和G）与源数据有着部分相干性。他们强调了NMF和矢量量化VQ（本质是K-Means聚类）的区别。

NMF与VQ、PCA的区别

        这里以图像数据应用为例，直观显示VQ，PCA和NMF的区别。“VQ是用一张完整的图像直接代表源脸部图像；PCA是将几个完整人脸加减压成一张脸；而NMF是取甲的眼睛，乙的鼻子，丙的嘴巴直接拼成一张脸。这样解释虽然细节上略有不妥，但不失其概念上的意义。 ”（以上解释来源于[4]。）因此，从机器学习的角度看，NMF是一种基于部位组合表示的机器学习方法，具有抽取主要特征的能力。

NMF与cluster的关系

        然而后来的实验研究不在支持NMF具有部分相干性解释。一些理论分析表明NMF和K-means/谱聚类是等价的。[5]

         以上是NMF的公式，k<<min(p,n)。因此，F和G的秩远远小于X的秩。该公式中，X是原矩阵，F是特征矩阵（k个基函数），G是权重矩阵。

        这是是典型的有界优化问题。

非负约束 · 更新规则

        解法一：与标准的有界优化问题类似。

        解法二：乘法更新规则

 

单正交2-factor NMF · 更新规则       

        除了给矩阵分解加上非负的约束，目前较多研究在此基础上强调NMF因子的正交性。如下所示。加上正交的优点：(1)解的唯一性；(2)严格聚类解释。

        上式是单(G)正交，对G矩阵作正交约束，即对X矩阵作列聚类。其更新规则如下：

        针对F正交，其更新规则如下：

        有了单正交，自然而然，也会考虑到双正交约束，即同时对X的行和列作聚类。如下：

双正交3-factor NMF · 更新规则

        然而，这种双正交的限制由于过于严格，导致相当差的矩阵低秩近似。因此，需要一个额外的因子S，吸收X,F,G的不同尺度。S提供了额外的自由度，使得低秩矩阵表示在给出行簇和列簇的同时保持准确。（k=l）

        其更新规则如下：

 对称3-factor NMF · 更新规则

        特殊情况下，当X是对称矩阵时，即，在该情况下，则对称NMF的优化问题表示为：

        在该问题下，更新规则如下：

[1] P. Paatero and U. Tapper. Positive matrix factorization: A non-negative factor model with optimal utilization of error estimates of data values.Environmetrics, 5:111–126, 1994.

[2] D.D. Lee and H. S. Seung. Learning the parts of objects by non-negative matrix factorization.Nature, 401:788–791, 1999.

[3] D.D. Lee and H. S. Seung. Algorithms for non-negatvie matrix factorization. InNIPS 13, 2001.

[4] Non-negative Matrix Factorization 非负矩阵分解

[5] C. Ding, X. He, and H.D. Simon. On the equivalence of nonnegative matrix factorization and spectral clustering. Proc. SIAM Data Mining Conf, 2005.

[6] 非负矩阵分解(NMF)简介

[7] Ding C, Li T, Peng W, et al. Orthogonal nonnegative matrix t-factorizations for clustering[C]//Proceedings of the 12th ACM SIGKDD international conference on Knowledge discovery and data mining. 2006: 126-135.