一 概述
利用矩阵分解来解决实际问题的分析方法很多,如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中,原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是,因子W和H中的元素可为正或负,即使输入的初始矩阵元素是全正的,传统的秩削减算法也不能保证原始数据的非负性。在数学上,从计算的观点看,分解结果中存在负值是正确的,但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点;在文档统计中,负值也是无法解释的。
二 矩阵基础知识
单位矩阵:
初等矩阵:用 Eij表示,即该矩阵中在(i,j)处为1,其他地方都为零。这一类矩阵在高斯消元中非常重要。
实对称矩阵
对称矩阵S满足,ST=S。实对称矩阵一定可以正交对角化,即存在正交矩阵Q,使得S=QTDQ
(实)反对称矩阵
实反对称矩阵的特征值要么是零要么是纯虚数。
对角矩阵:主对角线之外的元素皆为0的矩阵
三角矩阵:上三角矩阵的对角线左下方的系数全部为零,下三角矩阵的对角线右上方的系数全部为零
正交矩阵
正交矩阵也能正交对角化。即存在正交矩阵Q,使得
[公式] ,其中每个 [公式] 是二阶Givens旋转矩阵。正交矩阵的特征值的模都为1.
酉矩阵
常用U表示,满足U*=U-1,酉矩阵的是正交矩阵的在复数域的推广。
酉矩阵是满秩的,每一列都是单位向量,其每两列都是正交的。
(1)酉矩阵的特征值的模都为1
(2)酉矩阵不是Hermite矩阵,因为它不满足U*=U.
(3)酉矩阵能够对角化吗?当然可以(列满秩方阵),并且可以酉对角化!即对任意的酉矩阵B,存在酉矩阵U,使得 [公式] .
Hermite矩阵
1)Hermite矩阵满足U*=U,其是对称矩阵在复数域的推广。
Hermite矩阵的特征值都是实数。这个性质也很重要。
(2)Hermite矩阵可以对角化,并且仍然是酉对角化!即存在Hermite矩阵H,存在酉矩阵U,使得 H = U*DhU
反Hermite矩阵
类似的,反Hermite矩阵满足U*=-U
反Hermite矩阵的特征值是纯虚数。
正规矩阵
上面描述的矩阵都具有非常好的性质,不仅能对角化,有的甚至能酉对角化,这是非常特殊的。他们统称为正规矩阵。
正规矩阵A满足:AA=AA,令 M=AA=AA ,则M是一定是半正定的。
在实数域中,我们常用的矩阵为对角矩阵,对称矩阵,正交矩阵和三角矩阵。
在复数域中,我们常用的矩阵为酉矩阵,Hermite矩阵等。
NMF非负矩阵分解
非负矩阵分解(Non-negative Matrix Factorization,NMF)算法,即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。