主成分分析逆变换_通俗易懂的讲解奇异值分解(SVD)和主成分分析(PCA)

图片来自Unsplash上的Dave

0.本教程包含以下内容

特征分解

对称矩阵的特征分解

奇异值分解(The Singular Value Decomposition，SVD)

主成分分析(Principal Component Analysis ，PCA)——特征提取

1.特征分解

首先，我们简单回顾下特征值和特征向量的定义。在几何学中，矩阵A的特征向量是指一个经过与矩阵A变换后方向保持不变的向量(其中，假设特征值均为实数)。而特征值为在这个变化中特征向量的比例因子。具体可表示如下：

矩阵A与特征向量x的变换等于特征向量x与特征值λ的乘积

对于一个3×3维的矩阵A，我们可以将矩阵A与其特征向量x的变换理解为将矩阵A与另一个矩阵x的乘积。这是因为矩阵A与其特征向量x的变换等同于矩阵A的每一行与特征向量x的变换，从而矩阵之间的乘积可以表示为其特征值与特征向量的乘积。此时我们便能够分离出矩阵的特征值和特征值向量，并将其放在两个矩阵之中。具体过程如下：

通过上面等式，我们可以推出以下等式：

如果一个n×n维矩阵的n个特征向量均是线性无关的，则这个矩阵能够被对角化

观察上式，我们能够看到一个n×n维的矩阵可以由三个独立的矩阵构成，即一个由特征向量组成的n×n维的矩阵X和矩阵X的逆，以及一个由特征值组成的n×n维