数学基础 | (7) 特征值，特征向量与SVD奇异值分解

最新推荐文章于 2024-07-16 17:31:06 发布

CoreJT

最新推荐文章于 2024-07-16 17:31:06 发布

阅读量580

点赞数 1

分类专栏：数学基础

原文链接：https://mp.weixin.qq.com/s/Hm1pRxzXe_un5Nnrqs6pog

版权

数学基础专栏收录该内容

7 篇文章 2 订阅

订阅专栏

原文地址

本篇博客将介绍线性代数里比较重要的概念：特征值，特征向量以及SVD奇异值分解。

向量

回顾线性代数中，含有n个元素的向量可以表示为：
在这里插入图片描述
一般默认向量为列向量，也就是n行1列的矩阵，行向量表示为x的转置即** $x^T$ **

特征值和特征向量

当维度为n*n的方阵A、n维向量x和实数 λ满足下式时：
在这里插入图片描述
上式可以看成将矩阵 A 作用在向量 x 上，只对该向量的长度进行变换，此时λ 为矩阵 A 的特征值，x 为对应的特征向量（从几何角度看左乘一个矩阵可以看成一个空间变换）。

将上式变换一下可得：
在这里插入图片描述

当且仅当矩阵 $KaTeX parse error: Undefined control sequence: \lamba at position 2: (\̲l̲a̲m̲b̲a̲ ̲I-A)$ 为奇异矩阵时才存在非零解 x ，令其行列式为0，可以得到 λ 的多项式，求得特征值，再根据特征值即可求出相应的特征向量.

令矩阵 A 的第 i 个特征值为 $\lambda_i$ ，对应的特征向量为 $x_i$ ，所有特征向量(列向量)构成的矩阵为 X ，若X可逆，则A可对角化表示为：
在这里插入图片描述
其中 Λ 为对应特征值组成的对角矩阵.

特别的若A为对称矩阵（ $A=A^T$ ），则A的特征值均为实数，其特征向量可化为（正则）正交特征向量，即X为正交矩阵（ $X^{-1}=X^T$ ），用U表示，则矩阵A可表示为：
在这里插入图片描述

SVD奇异值分解

若A为mn矩阵，则存在mm的正交矩阵U、nn的正交矩阵V和mn的对角矩阵D满足：
在这里插入图片描述
其中U为左奇异矩阵，其列向量为 $AA^T$ 的特征向量；V为右奇异矩阵，其列向量为 $A^TA$ 的特征向量；矩阵D中对角线元素为A的奇异值，为 $A^TA$ 的特征值的平方根. 因为一个矩阵乘以它的转置为对称矩阵，必能正交对角化，因此任意矩阵均能奇异值分解.

SVD应用

SVD一个常见的应用就是降维，如对于图像数据矩阵A进行SVD，取前k大的奇异值，U和V都取前k个向量，再恢复到原图像大小，k取值合理的情况下可以与原图几乎一样，这样就实现了对图像的压缩.

可以发现和PCA主成分分析很相似。在PCA中我们先计算协方差矩阵，再求出前k大特征值对应的特征向量作为主成分，对数据进行降维。

当计算协方差矩阵时，我们需要计算 $A^TA$ (A为样本特征矩阵，维数为n*p，n为样本数，p为特征个数，且A已进行取均值化（对所有样本的特征向量求均值向量，每个样本的特征向量减去均值向量）)，计算SVD时也有这个，由此可以得到PCA的另一种解法：通过对A进行SVD分解计算右奇异矩阵V，V中列向量即为PCA所需的特征向量。这种方法更为方便，sklearn中的PCA就是通过SVD来实现的。