文章目录
- 矩阵乘法:线性变换,对向量进行旋转和长度伸缩,效果与函数相同;
- 特征向量:指向只缩放不旋转的方向;
- 特征值:即缩放因子;
- 旋转矩阵无实数特征向量和特征值。
一、特征值和特征向量
1.1 定义
若对于N阶矩阵A,存在实数 λ \lambda λ及非零向量 x \boldsymbol{x} x,满足 A x = λ x \boldsymbol{Ax}=\lambda\boldsymbol{x} Ax=λx,则称 λ \lambda λ是A的特征值,非零向量 x \boldsymbol{x} x是A的特征向量。
1.2 几何意义
对于一个n维的向量x,左乘一个n阶的方阵A得到Ax,从几何意义理解,是对x进行了线性变换,变换之后的向量y和原向量x的方向和长度都发生了变化。但是对于特定的矩阵A,总存在一些特定方向的向量x,使得Ax的方向不发生变化,只是长度发生变化。令这个长度发生的变化作为系数
λ
\lambda
λ,那么这样的非零向量就称为矩阵A的特征向量,
λ
\lambda
λ就是这个特征向量对应的特征值。例如:
A
=
[
2
1
1
2
]
x
=
[
0
1
]
T
A=\left[\begin{matrix}2\quad 1\\1\quad2\end{matrix}\right] \boldsymbol{x}=\left[0\quad 1\right]^T
A=[2112]x=[01]T
则有:
A
x
=
[
1
2
]
A\boldsymbol{x}=\left[\begin{matrix}1\\2\end{matrix}\right]
Ax=[12]
可见,向量x左乘矩阵A之后,长度和方向均发生了变化。然而
λ
x
\lambda\boldsymbol{x}
λx只是长度改变,方向不发生变化。
1.3 求解过程
求解特征值和特征向量的过程就是齐次线性方程组求非零解的过程:
(
A
−
λ
I
)
x
=
0
(A-\lambda\boldsymbol{I})\boldsymbol{x}=0
(A−λI)x=0。齐次线性方程组若要存在非零解,那么需要系数行列式
∣
A
−
λ
I
∣
|A-\lambda\boldsymbol{I}|
∣A−λI∣不为零,也就是系数矩阵
A
−
λ
I
A-\lambda\boldsymbol{I}
A−λI的秩小于n。
线性代数学习笔记(二十八)——齐次方程组的解_齐次线性方程组_雏鹰高飞的博客-CSDN博客
求解矩阵特征值及特征向量 - Peyton_Li - 博客园
1.4 性质
(1)矩阵的迹=特征值之和
t
r
(
A
)
=
λ
1
+
λ
2
+
.
.
.
+
λ
n
tr(A)=\lambda_1+\lambda_2+...+\lambda_n
tr(A)=λ1+λ2+...+λn
(2)矩阵的行列式=特征值之积
d
e
t
(
A
)
=
λ
1
λ
2
.
.
.
λ
n
det(A)=\lambda_1\lambda_2...\lambda_n
det(A)=λ1λ2...λn
二、矩阵运算
2.1 余子式
余子式 M i j M_{ij} Mij是指去掉第i行以及第j列,剩下的n-1阶行列式。
2.2 代数余子式
2.3 伴随矩阵
伴随矩阵由各个元素的代数余子式构成。
2.4 计算逆矩阵
2.4.1 伴随矩阵法
2.4.2 初等变换法
三、矩阵分解
矩阵分解常用的方法:特征值分解(Eigen Decomposition)、奇异值分解SVD(Singular Value Decomposition)、主成分分析(Principal Component Analysis)、Funk-SVD(Simon Funk SVD)。特征值分解仅限于矩阵为方阵的情况,当矩阵不为方阵时,可使用奇异值分解SVD。
3.1 特征分解(ED)
特征值分解,就是将矩阵分解成特征值和特征向量的形式,通过特征值和特征向量可以重构该矩阵。第一节中介绍了特征值和对应的特征向量的计算方式,现在直接利用特征值和特征向量,来恢复矩阵A。
A
=
W
Σ
W
−
1
\boldsymbol{A}=\boldsymbol{W}\boldsymbol{\Sigma}\boldsymbol{W}^{-1}
A=WΣW−1
其中W是矩阵A的特征向量组成的矩阵,
Σ
\boldsymbol{\Sigma}
Σ是一个对角阵,对角线上的元素就是特征值。特征值分解可以得到特征值和特征向量,特征值表示这个特征到底有多重要,特征向量表示这个特征是什么。可以将每个特征向量理解为一个线性的子空间,可以利用这些线性子空间做很多事情。
比如上面 1.3 节中的矩阵 A 可表示为:
3.2 奇异值分解(SVD)
3.2.1 如何计算?
A = U Σ V − 1 \boldsymbol{A}=\boldsymbol{U}\boldsymbol{\Sigma}\boldsymbol{V}^{-1} A=UΣV−1
其中,U为
m
∗
m
m*m
m∗m的矩阵,称为A的左奇异矩阵;
Σ
\boldsymbol{\Sigma}
Σ是
m
∗
n
m*n
m∗n的矩阵,除了主对角线上元素为矩阵A的奇异值之外,其他元素都是0;V为
n
∗
n
n*n
n∗n的矩阵,称为A的右奇异矩阵。U和V都是酉矩阵,即满足:
U
T
U
=
I
\boldsymbol{U^T}\boldsymbol{U}=\boldsymbol{I}
UTU=I、
V
T
V
=
I
\boldsymbol{V^T}\boldsymbol{V}=\boldsymbol{I}
VTV=I。
-
A A T \boldsymbol{A}\boldsymbol{A^T} AAT的特征向量构成A的左奇异矩阵 U \boldsymbol{U} U;
-
A T A \boldsymbol{A^T}\boldsymbol{A} ATA的特征向量构成A的右奇异矩阵 V \boldsymbol{V} V;
-
A T A \boldsymbol{A^T}\boldsymbol{A} ATA的特征值的平方根构成奇异值矩阵 Σ \boldsymbol{\Sigma} Σ。
3.2.2 例题
则有:
3.2.3 物理意义
矩阵的物理意义就是空间变换,SVD的物理意义就是分解 —— 将一个复杂的转换过程分解为三个简单的基本变换(旋转、伸缩、旋转)。奇异值的大小表征了相应奇异向量的伸缩程度(可以理解为权重),奇异值越大,对应的奇异向量对最终结果影响越大。奇异值矩阵有几个非零奇异值,则矩阵A就是秩几矩阵。(可用于图像压缩、去噪)
其中,
u
1
\boldsymbol{u_1}
u1为
U
\boldsymbol{U}
U第一列,
v
1
\boldsymbol{v_1}
v1为
V
\boldsymbol{V}
V第一行。(将三个矩阵拆开即可证明)
奇异值的物理意义是什么? - 知乎
3.3 应用
- 降维;(左奇异矩阵通常用于行数压缩;右奇异矩阵通常用于列数(即维数)压缩,也就是PCA降维原理)
- 图像压缩;
- 图像去噪;
【《数学之美》笔记(一)】奇异值分解(SVD)的原理、演算和应用
(本文完整的pdf请关注公众号“张张学算法”,并回复“019”获取~)