图片来自Unsplash上的Dave
0.本教程包含以下内容
特征分解
对称矩阵的特征分解
奇异值分解(The Singular Value Decomposition,SVD)
主成分分析(Principal Component Analysis ,PCA)——特征提取
1.特征分解
首先,我们简单回顾下特征值和特征向量的定义。在几何学中,矩阵A的特征向量是指一个经过与矩阵A变换后方向保持不变的向量(其中,假设特征值均为实数)。而特征值为在这个变化中特征向量的比例因子。具体可表示如下:
矩阵A与特征向量x的变换等于特征向量x与特征值λ的乘积
对于一个3×3维的矩阵A,我们可以将矩阵A与其特征向量x的变换理解为将矩阵A与另一个矩阵x的乘积。这是因为矩阵A与其特征向量x的变换等同于矩阵A的每一行与特征向量x的变换,从而矩阵之间的乘积可以表示为其特征值与特征向量的乘积。此时我们便能够分离出矩阵的特征值和特征值向量,并将其放在两个矩阵之中。具体过程如下:
通过上面等式,我们可以推出以下等式:
如果一个n×n维矩阵的n个特征向量均是线性无关的,则这个矩阵能够被对角化
观察上式,我们能够看到一个n×n维的矩阵可以由三个独立的矩阵构成,即一个由特征向量组成的n×n维的矩阵X和矩阵X的逆,以及一个由特征值组成的n×n维