矩阵分解（特征分解、SVD分解）

最新推荐文章于 2024-05-31 15:23:55 发布

Satisfying

最新推荐文章于 2024-05-31 15:23:55 发布

阅读量2.9k

点赞数 22

分类专栏：数学基础文章标签：矩阵线性代数

本文链接：https://blog.csdn.net/weixin_40583722/article/details/136651550

版权

数学基础专栏收录该内容

9 篇文章 20 订阅

订阅专栏

文章目录

一、特征值和特征向量
二、矩阵运算
三、矩阵分解

矩阵乘法：线性变换，对向量进行旋转和长度伸缩，效果与函数相同；
特征向量：指向只缩放不旋转的方向；
特征值：即缩放因子；
旋转矩阵无实数特征向量和特征值。

一、特征值和特征向量

1.1 定义

若对于N阶矩阵A，存在实数 $\lambda$ 及非零向量 $\boldsymbol{x}$ ，满足 $\boldsymbol{Ax}=\lambda\boldsymbol{x}$ ，则称 $\lambda$ 是A的特征值，非零向量 $\boldsymbol{x}$ 是A的特征向量。

1.2 几何意义

对于一个n维的向量x，左乘一个n阶的方阵A得到Ax，从几何意义理解，是对x进行了线性变换，变换之后的向量y和原向量x的方向和长度都发生了变化。但是对于特定的矩阵A，总存在一些特定方向的向量x，使得Ax的方向不发生变化，只是长度发生变化。令这个长度发生的变化作为系数 $\lambda$ ，那么这样的非零向量就称为矩阵A的特征向量， $\lambda$ 就是这个特征向量对应的特征值。例如：
$A=\left[\begin{matrix}2\quad 1\\1\quad2\end{matrix}\right] \boldsymbol{x}=\left[0\quad 1\right]^T$
则有：
$A\boldsymbol{x}=\left[\begin{matrix}1\\2\end{matrix}\right]$
可见，向量x左乘矩阵A之后，长度和方向均发生了变化。然而 $\lambda\boldsymbol{x}$ 只是长度改变，方向不发生变化。

1.3 求解过程

求解特征值和特征向量的过程就是齐次线性方程组求非零解的过程： $(A-\lambda\boldsymbol{I})\boldsymbol{x}=0$ 。齐次线性方程组若要存在非零解，那么需要系数行列式 $|A-\lambda\boldsymbol{I}|$ 不为零，也就是系数矩阵 $A-\lambda\boldsymbol{I}$ 的秩小于n。

在这里插入图片描述

线性代数精华——矩阵的特征值与特征向量

如何求矩阵的特征值和特征向量_是可帅鸭的博客-CSDN博客

线性代数学习笔记(二十八)——齐次方程组的解_齐次线性方程组_雏鹰高飞的博客-CSDN博客

求解矩阵特征值及特征向量 - Peyton_Li - 博客园

1.4 性质

（1）矩阵的迹=特征值之和
$tr(A)=\lambda_1+\lambda_2+...+\lambda_n$
（2）矩阵的行列式=特征值之积
$det(A)=\lambda_1\lambda_2...\lambda_n$

二、矩阵运算

2.1 余子式

余子式 $M_{ij}$ 是指去掉第i行以及第j列，剩下的n-1阶行列式。

2.2 代数余子式

在这里插入图片描述

2.3 伴随矩阵

伴随矩阵由各个元素的代数余子式构成。
在这里插入图片描述

2.4 计算逆矩阵

2.4.1 伴随矩阵法

在这里插入图片描述

2.4.2 初等变换法

在这里插入图片描述

三、矩阵分解

矩阵分解常用的方法：特征值分解（Eigen Decomposition）、奇异值分解SVD（Singular Value Decomposition）、主成分分析（Principal Component Analysis）、Funk-SVD（Simon Funk SVD）。特征值分解仅限于矩阵为方阵的情况，当矩阵不为方阵时，可使用奇异值分解SVD。

3.1 特征分解（ED）

特征值分解，就是将矩阵分解成特征值和特征向量的形式，通过特征值和特征向量可以重构该矩阵。第一节中介绍了特征值和对应的特征向量的计算方式，现在直接利用特征值和特征向量，来恢复矩阵A。
$\boldsymbol{A}=\boldsymbol{W}\boldsymbol{\Sigma}\boldsymbol{W}^{-1}$
其中W是矩阵A的特征向量组成的矩阵， $\boldsymbol{\Sigma}$ 是一个对角阵，对角线上的元素就是特征值。特征值分解可以得到特征值和特征向量，特征值表示这个特征到底有多重要，特征向量表示这个特征是什么。可以将每个特征向量理解为一个线性的子空间，可以利用这些线性子空间做很多事情。

比如上面 1.3 节中的矩阵 A 可表示为：
在这里插入图片描述

如何求矩阵的特征值和特征向量_是可帅鸭的博客-CSDN博客

3.2 奇异值分解（SVD）

3.2.1 如何计算？

$\boldsymbol{A}=\boldsymbol{U}\boldsymbol{\Sigma}\boldsymbol{V}^{-1}$

其中，U为 $m * m$ 的矩阵，称为A的左奇异矩阵； $\boldsymbol{\Sigma}$ 是 $m * n$ 的矩阵，除了主对角线上元素为矩阵A的奇异值之外，其他元素都是0；V为 $n * n$ 的矩阵，称为A的右奇异矩阵。U和V都是酉矩阵，即满足： $\boldsymbol{U^T}\boldsymbol{U}=\boldsymbol{I}$ 、 $\boldsymbol{V^T}\boldsymbol{V}=\boldsymbol{I}$ 。
在这里插入图片描述

$\boldsymbol{A}\boldsymbol{A^T}$ 的特征向量构成A的左奇异矩阵 $\boldsymbol{U}$ ；
$\boldsymbol{A^T}\boldsymbol{A}$ 的特征向量构成A的右奇异矩阵 $\boldsymbol{V}$ ；
$\boldsymbol{A^T}\boldsymbol{A}$ 的特征值的平方根构成奇异值矩阵 $\boldsymbol{\Sigma}$ 。

3.2.2 例题

在这里插入图片描述
则有：

（四）矩阵的特征分解与奇异值分解(SVD)

3.2.3 物理意义

矩阵的物理意义就是空间变换，SVD的物理意义就是分解 —— 将一个复杂的转换过程分解为三个简单的基本变换（旋转、伸缩、旋转）。奇异值的大小表征了相应奇异向量的伸缩程度（可以理解为权重），奇异值越大，对应的奇异向量对最终结果影响越大。奇异值矩阵有几个非零奇异值，则矩阵A就是秩几矩阵。（可用于图像压缩、去噪）
在这里插入图片描述