学习使用NMF非负矩阵分解算法

0 背景

NMF Ref： NMF 非负矩阵分解 -- 原理与应用_qq_26225295的博客-CSDN博客_nmf原理

Ref： Dr Li 的notes ，包含PCA,SVD,EMF等算法。 给他写信咨询问题和索取资料，非常友善，及时给我答复，但我把姓搞错了。ECE484 Digital Image Processing - A Modern Approach (DIPAMA) Class Web Page: Fall 2019

他的face数据集，后面放到共享资源里，或者 这个link下载Box

大家也可下载yale的数据集：Popular Face Data Sets in Matlab Format

他还给了2篇论文，Eigenfaces for Recognition 和  Eigenfaces vs. fisherfaces: Recognition using class specific linear projection

1 目的

    使用NMF的初衷是为了将CWT的结果进行降维，清华的王天杨 有semi-NMF降维方法，但论文不太细致。

    以为NMF是直接对图像矩阵进行降维，获得特征，所以看了相关的论文，都是二维矩阵的推导。

   实际上X为样本数的合集，行为特征，列为样本数。

  因此，进行降维的样本需要转为1D 然后根据样本拼接为2D。 我也是进行实际案例操作时，发现这个问题。

2 其他相关的降维方法

数据集，6680张图片，每张400个特征，图片size 20*20=400.

 mean face

% mean face
 meanFace=mean(faces,1);
imgmeanFace=reshape(meanFace,20,20);
figure,imshow(imgmeanFace)

result

2.1 PCA

     这方面的推导和讲解有大量的知识，这里还是copy Dr.Li 的notes

    我的理解是采用正交投影的方式，逐步将变量的特征提取，实现降维。

 

 用PCA进行特征提取

code

%% data faces-ids-n6680-m417-20x20.mat
%% PCA(X)
%Rows of X correspond to observations  样本数
% and columns correspond to variables.   特征数
[A, s, lat]=pca(faces);%[coeff,score,latent] = pca(___)
h=20; w=20;
figure(30);
subplot(1,2,1); grid on; hold on; stem(lat,'.');
title('Score')
f_eng=lat.*lat;
subplot(1,2,2); grid on; hold on; plot(cumsum(f_eng)/sum(f_eng),'.-');
title('Total Score')

Result：

从由图可知，前6个PCAs就可以表征原来98%的特征信息，有效实现了降维。

则可以取A的前6个主成分 进行降维，可将1*400 x 400*6=1*6的纬度。

Principal component coefficients, returned as a p-by-p matrix. Each column of coeff contains coefficients for one principal component. The columns are in the order of descending component variance, latent.

关于图片的聚类，我没有深入了解。大概浏览了参考文献，91年的那个有详细的推导。

另外：如何获得特征向量对应的脸？

利用PCA计算获得相关系A，lat特征向量，如何获得特征脸？

用原来的样本*特征相关系数 不对，存在负值。。。。图片无法显示

 尝试 去掉负数

%特征脸
i=2;
face1=faces(i,:)*A;%第i张脸的图谱
face1((face1<0))=1;%负数去掉
imgmeanFace=reshape(face1,20,20);
figure,imshow(imgmeanFace)

不做负数处理的结果如下。

% fea=bsxfun(@minus,faces,mean(faces,1))*coef;%将原来的数据转换到新的样本空间中的算法是这样实现的。
%   x0=fea*coef;
  imshow(reshape(x0(i,:),20,20))

 

   我没有得到特征face。 谁知道？

3  NMF

3.1 method

 

 因此组成V的数组，行为特征数，列为样本数。k为 选取的降维数，k<f*k/(f+k).

W 特征、H为权重

 

code

v=faces(1:560,:)';%560 faces
k=2;
[W, H]=nnmf(v, k);

Result

看特征

 

 尝试对GPR 数据处理，模型处理结果不好。后续待改进。

又进行了其他测试

   Moisture&Normal

在沥青路面的数据中进行了处理，结果如下

放大中心：

 说明可以对异常分类，这个交叉结果的主要原因是原始数据筛选不严格。

Steel..

上述分析表明NMF可作为特征分析工具，但对样本要求比较高。