特征值分解
特征值分解是将一个方阵A分解为如下形式:
其中,Q是方阵A的特征向量组成的矩阵,
是一个对角矩阵,对角线元素是特征值。
通过特征值分解得到的前N个特征向量,表示矩阵A最主要的N个变化方向。利用这前N个变化方向,就可以近似这个矩阵(变换) 。
奇异值分解
奇异值分解(Singular Value Decomposition,SVD)是在机器学习领域广泛应用的算法,它不仅可以用于降维算法中的特征分解,还可以用于推荐系统,以及自然语言处理等领域。 它能适用于任意的矩阵的分解。
SVD是将m*n的矩阵A分解为如下形式:
其中,U和V是正交矩阵,即
,U是左奇异矩阵,
,S是
的对角阵(对角线上的元素是奇异值,非对角线元素都是0),
右奇异向量,
。
特征值用来描述方阵,可看做是从一个空间到自身的映射。奇异值可以描述长方阵或奇异矩阵,可看做是从一个空间到另一个空间的映