机器学习之PCA理论及实战练习

首发地址被屏蔽了。

SVD是奇异值分解

 

一、一般概念

酉矩阵：设AÎCn×n,C可以是复矩阵，实矩阵，如果A*A=I（单位阵），则称A为酉矩阵；当A是实矩阵时，就是我们常见的实正交矩阵。

 

Hermite矩阵：如果A*=A,那么A是Hermite矩阵，若A是实矩阵，称A为对称矩阵。

 

正规矩阵：如果A*A=AA*，那么称A为正规矩阵。酉矩阵和Hermite矩阵均属于正规矩阵。

 

正定：对于一Hermite矩阵A，如果对任意非零向量xÎCn，都满足x*Ax>0，称A为正定阵，如果是大于等于0，称A为半正定阵。正定矩阵的特征值一定为正。

 

二、奇异值分解（Singular Value Decomposition，SVD）

奇异值：设AÎCm×n，A*A的特征值的非负平方根称A的奇异值，由此定义可知奇异值必然大于等于0。

 

奇异值分解定理：设