非负矩阵分解(NMF)

通常的矩阵分解会把一个大的矩阵分解为多个小的矩阵,但是这些矩阵的元素有正有负。而在现实世界中,比如图

像,文本等形成的矩阵中负数的存在是没有意义的,所以如果能把一个矩阵分解成全是非负元素是很有意义的。在

NMF中要求原始的矩阵的所有元素的均是非负的,那么矩阵可以分解为两个更小的非负矩阵的乘积,这个矩阵

有且仅有一个这样的分解,即满足存在性唯一性

 

Contents

 

   1. NMF问题描述

   2. NMF实现原理

   3. NMF的应用

   4. NMF的R实现

   5. NMF的Julia实现

   6. 结束语

 

 

1. NMF问题描述

 

   传统的NMF问题可以描述如下

 

   给定矩阵,寻找非负矩阵和非负矩阵,使得

 

   分解前后可理解为:原始矩阵的列向量是对左矩阵中所有列向量的加权和,而权重系数就是右矩阵对应列

   向量的元素,故称为基矩阵,为系数矩阵。一般情况下的选择要比小,即满足

   这时用系数矩阵代替原始矩阵,就可以实现对原始矩阵进行降维,得到数据特征的降维矩阵,从而减少存储空

   间,减少计算机资源。

 

 

2. NMF实现原理

 

   NMF求解问题实际上是一个最优化问题,利用乘性迭代的方法求解,非负矩阵分解是一个NP问题。NMF

   问题的目标函数有很多种,应用最广泛就是欧几里得距离KL散度。

 

   在NMF的分解问题中,假设噪声矩阵为,那么有

 

                

 

   现在要找出合适的使得最小。假设噪声服从不同的概率分布,通过最大似然函数会得到不同类型

   的目标函数。接下来会分别以噪声服从高斯分布泊松分布来说明。

 

 

   (1)噪声服从高斯分布

 

       假设噪声服从高斯分布,那么得到最大似然函数为

 

       

 

       取对数后,得到对数似然函数为

 

       

 

       假设各数据点噪声的方差一样,那么接下来要使得对数似然函数取值最大,只需要下面目标函数值最小。

 

       

 

       该损失函数为2范数损失函数,它是基于欧几里得距离的度量。又因为

 

       

 

       那么得到

 

       

 

       同理有

 

       

 

       接下来就可以使用梯度下降法进行迭代了。如下

 

       

 

       如果选取

 

       

 

       那么最终得到迭代式为

 

       

 

       可看出这是乘性迭代规则,每一步都保证了结果为正数,一直迭代下去就会收敛,当然收敛性的证明省略。

 

 

   (2)噪声服从泊松分布

 

       若噪声为泊松噪声,那么得到损失函数为

 

       

 

       同样经过推到得到

 

       

 

   

3. NMF的应用

 

   NMF能用于发现数据库中图像的特征,便于快速识别应用,比如实现录入恐怖分子的照片,然后在安检口对可疑

   人员进行盘查。在文档方面,NMF能够发现文档的语义相关度,用于信息的自动索引和提取。在生物学中,在

   DNA阵列分析中识别基因等。在语音识别系统中NMF也能发挥重要作用。

 

 

4. NMF的R实现

 

   先说NMF的R使用,R语言中已经有NMF包可用于NMF。非负矩阵分解已经有了很多算法,例如Multiplicative

   Update,Projected Gradient Method,Gradient Descent。交替最小二乘法比较符合上面的解释,具

   有更好的统计意义,而且收敛性质很好,计算速度快。已有的交替最小二乘法都使用冷冰冰的二次规划算法求解

   非负回归,在bignmf中使用的最小角回归的思路解非负回归,更有统计的感觉,而且速度更快。安装包如下

 

   bignmf:https://github.com/panlanfeng/bignmf

 

   bignmf的部分源码如下

 

   

 

  从上面代码可以看出,当矩阵V中元素是非double时,会强制转化为double类型。而WH矩阵是服从高斯分布

   的随机矩阵,随后传入参数调用whupdate,如果迭代次数太少会打印警告Iteration doesn't converge!

 

   所以用bignmf分解非负矩阵调用如下函数就行了

 

   

 

   代码:

   

 

   以上是NMF分解的R语言实现,bignmf借助伟大的Rcpp和RcppEigen包,算法内层用C++ 代码实现接下来会接

   着NMF在Julia中的实现。

 

 

5. NMF的Julia实现

 

   在Julia语言中,有一个NMF包专门用来进行NMF分解的,现在就来详细了解它。首先来安装NMF,在Julia交互

   式环境下使用如下命令

 

   

 

   在Julia中,关于NMF的计算有很多方法,详见:https://github.com/JuliaStats/NMF.jl

 

   NMF分解的一个例子如下

 

   

 

 

6. 结束语

 

   关于NMF的解的收敛性和唯一性以后再证明,除了NMF分解以外,还有一种非负分解也用的比较多,而且很有

   效,叫做负张量分解法。可以参考如下论文

 

   论文链接:http://www.doc88.com/p-8942237517189.html

 

相关推荐
作为一种重要的身份认证的手段,人脸识别已经广泛地应用于管理、安全等各个领域。人脸识别的一个关键性的问题是特征抽取,即如何从众多的特征中寻找最有效的特征。子空间分析法是一种有效的特征抽取方法,而本文所研究讨论的矩阵分解(Non-negative Matrix Factorization, NMF)具有一些独特的优点,成为构建特征子空间的一种有效的方法。 矩阵分解是一种新的矩阵分解方法,它将一个矩阵分解为左右两个矩阵的乘积。由于分解前后的矩阵中仅仅包含元素,因此原来矩阵中的列向量可解释为对左矩阵中所有列向量(称基向量)的加权和;而权重系数为右矩阵中对应列向量中的元素。这种基于基向量组合的表示形式具有直观的语义解释,反映了人们思维中局部构成整体的概念。与一般矩阵分解方法相比,NMF具有其独特的优点。例如实现起来比较简单,分解的形式和结果具有实际的物理意义等。典型的监督学习算法,如主分量分析(PCA)、矢量量化(VQ)、独立分量分析(ICA)、因子分析(FA)等,均可以理解为对原始数据矩阵在一定条件限制下进行分解。本文的矩阵分解(NMF)算法与上述算法模型类似,是国际上新近提出的一种矩阵分解方法。与其他方法相比,NMF特殊之处在于其对于矩阵分解过程的限制,这会得到原始数据基于部分的表示,从而能更好的反映原始数据的局部特征,NMF的这一特性使得其可在诸多领域的应用得到很好的效果。
©️2020 CSDN 皮肤主题: 技术黑板 设计师:CSDN官方博客 返回首页