矩阵分解--数学篇

一 概述

利用矩阵分解来解决实际问题的分析方法很多，如PCA(主成分分析)、ICA(独立成分分析)、SVD(奇异值分解)、VQ(矢量量化)等。在所有这些方法中，原始的大矩阵V被近似分解为低秩的V=WH形式。这些方法的共同特点是，因子W和H中的元素可为正或负，即使输入的初始矩阵元素是全正的，传统的秩削减算法也不能保证原始数据的非负性。在数学上，从计算的观点看，分解结果中存在负值是正确的，但负值元素在实际问题中往往是没有意义的。例如图像数据中不可能有负值的像素点；在文档统计中，负值也是无法解释的。

二 矩阵基础知识

单位矩阵：

初等矩阵：用 E_ij表示，即该矩阵中在(i,j)处为1，其他地方都为零。这一类矩阵在高斯消元中非常重要。

实对称矩阵

对称矩阵S满足，S^T=S。实对称矩阵一定可以正交对角化，即存在正交矩阵Q，使得S=Q^TDQ

(实)反对称矩阵

实反对称矩阵的特征值要么是零要么是纯虚数。

对角矩阵:主对角线之外的元素皆为0的矩阵

三角矩阵:上三角矩阵的对角线左下方的系数全部为零，下三角矩阵的对角线右上方的系数全部为零

正交矩阵

正交矩阵也能正交对角化。即存在正交矩阵Q，使得
[公式] ,其中每个 [公式] 是二阶Givens旋转矩阵。正交矩阵的特征值的模都为1.

酉矩阵

常用U表示，满足U*=U^-1，酉矩阵的是正交矩阵的在复数域的推广。
酉矩阵是满秩的，每一列都是单位向量，其每两列都是正交的。
（1）酉矩阵的特征值的模都为1
（2）酉矩阵不是Hermite矩阵，因为它不满足U*=U.
（3）酉矩阵能够对角化吗？当然可以（列满秩方阵），并且可以酉对角化！即对任意的酉矩阵B，存在酉矩阵U，使得 [公式] .

Hermite矩阵

1）Hermite矩阵满足U*=U，其是对称矩阵在复数域的推广。
Hermite矩阵的特征值都是实数。这个性质也很重要。
（2）Hermite矩阵可以对角化，并且仍然是酉对角化！即存在Hermite矩阵H，存在酉矩阵U，使得 H = U*D_hU

反Hermite矩阵

类似的，反Hermite矩阵满足U*=-U
反Hermite矩阵的特征值是纯虚数。

正规矩阵

上面描述的矩阵都具有非常好的性质，不仅能对角化，有的甚至能酉对角化，这是非常特殊的。他们统称为正规矩阵。
正规矩阵A满足：AA=AA，令 M=AA=AA ，则M是一定是半正定的。

在实数域中，我们常用的矩阵为对角矩阵，对称矩阵，正交矩阵和三角矩阵。
在复数域中，我们常用的矩阵为酉矩阵，Hermite矩阵等。

NMF非负矩阵分解

非负矩阵分解(Non-negative Matrix Factorization，NMF)算法，即NMF是在矩阵中所有元素均为非负数约束条件之下的矩阵分解方法。