非负矩阵分解小白入门

非负矩阵分解

一、定义

非负矩阵分解(Nonnegative Matrix Factorization)，简称NMF。顾名思义就是，将非负的大矩阵分解成两个非负的小矩阵。它使分解后的所有分量均为非负值(要求纯加性的描述)，并且同时实现非线性的维数约减。

在$R^n$空间分布的一堆数据有它们分布的某些规律，那么找一组更能直观反映这种规律的基，再把原来的数据投影到这组基上表示，这样就能便于后续的应用，比如分类等。

上式$V$是一个$n\ast m$维的矩阵，其中每一列就是$R^n$空间中的一个向量，共$m$个向量；$W$是一个$n\ast k$维的矩阵，即$k$个基；$H$是$k\ast m$的矩阵，每一列为$V$投影到$W$上得到的向量。

理解：原始矩阵$V$的列向量是对左矩阵$W$中所有列向量的加权和，而权重系数就是又矩阵对应列向量的元素，故称$W$为基矩阵，$H$为系数矩阵。一般情况下$k$ ($W$矩阵的列数) 的选择要比$N$小，满足$(F+N)k<FN$，这时用系数矩阵代替原始矩阵，就可以实现对原始矩阵进行降维，得到数据特征的降维矩阵，从而减少存储空间，减少计算机资源。

原矩阵$V$中的一列向量可以解释为对左矩阵$W$中所有列向量(称为基向量)的加权和，而权重系数为右矩阵H中对应列向量中的元素。这种基于基向量组合的表示形式具有很直观的语义解释，它反映了人类思维中“局部构成整体”的概念。

原矩阵V第2行第4列的红色三角形是由矩阵W的第2行与矩阵H的第4列相乘的结果！

二、几种矩阵分解方法的效果差异

其中original原图即为$V$中的一列；等式左边第一块是$W$，其中的每一小块是$W$的一列；等式左边第二块是$H$的一列；等式右边的图像是左边相乘还原得到的与original相对应的一个向量（只不过显示成二维图像）。

VQ的约束是要求H的每一列只有一个元素为1，其它为0，因此相当于将m个数据归纳成了$k$个代表，原数据映射过去就是取$k$个基当中与原向量距离最小的来重新表示。所以VQ的基都是一张张完整正常的脸，它们都是最具代表性的脸。

PCA大家用得比较多，就是求一组标准正交基，第一个基的方向取原数据方差最大的方向，然后第二个基在与第一个基正交的所有方向里再取方差最大的，这样在跟前面的基都正交的方向上一直取到k个基。所以PCA的基没有直观的物理意义，而且W和H里面的元素都是可正可负的，这就意味着还原时是用W的基加加减减得到的。

NMF因为约束了非负，所以只准把基相加，不能相减，这就意味着基与基是通过拼接组合来还原原象的。所以我们可以看到NMF的每个基实际上在表示着脸部的某个部件，这种性质在许多场景上就有了它特有的用处了。

理解如下：

VQ其实就像kmeans，它的基都落在原数据的最具代表性的位置上。

PCA的基则是指向四面八方的，相互正交着。

NMF的原数据首先就是只分布在非负子空间里面的，然后它的基则在这个非负子空间靠近边缘的区域，像一组长短不一、间隔不一的伞骨。

三、大众例子

矩阵分解的想法源于我们相信每个电影都是由某些元素组成的，而这些元素到底是什么，有多少，我们是不知道的。而不同的用户出于个人喜好一定会对这些元素有个评价。
比如：
一个电影里如果只考虑爱情和动作两个因素。一个用户也一定会有我给爱情打分多一点还是喜欢动作多一点。

期望就是我们已知下面的矩阵，而期望分解出比较合理的上面两个矩阵。这样就可以用来预测别的用户对别的电影的看法了。

四、实验验证

clear all;
close all;
clc;
V=double(imread('lena.jpg'));
imshow(mat2gray(V));
[i u]=size(V);                                    % 计算V的规格
r=100;                                            % 设置分解矩阵的秩
W=rand(i,r);                                      % 初始化WH，为非负数
H=rand(r,u);
maviter=100;                                      % 最大迭代次数
for iter=1:maviter
    W=W.*((V./(W*H))*H');                         % 注意这里的三个公式和文中的是对应的
    W=W./(ones(i,1)*sum(W));    
    H=H.*(W'*(V./(W*H)));
end
img_V=W*H;
figure;
imshow(mat2gray(img_V));

原图

重构

注： 本文仅供作者学习和参考，如何任何问题，欢迎批评指正~