矩阵基本概念
向量范数
对于一个向量
x(x1,x2,...,xn)
x
(
x
1
,
x
2
,
.
.
.
,
x
n
)
, 其范数有
L1
L
1
,
L2
L
2
,
L∞
L
∞
,
Lp
L
p
-
L1
L
1
范数
- L2 L 2 范数
- L∞ L ∞ 范数
- Lp L p 范数
矩阵范数
对于一个矩阵 A=(aij)m×n A = ( a i j ) m × n , 有 ||A||1 | | A | | 1 , ||A||2 | | A | | 2 , ||A||∞ | | A | | ∞ , ||A||F | | A | | F
||A||1 | | A | | 1
||A||1=maxj∑im|aij| | | A | | 1 = max j ∑ i m | a i j |||A||2 | | A | | 2
||A||2=λATA‾‾‾‾√ | | A | | 2 = λ A T A
其中 λATA λ A T A 是 ATA A T A 的最大特征值||A||∞ | | A | | ∞
||A||∞=maxi∑jn|aij| | | A | | ∞ = max i ∑ j n | a i j |||A||F | | A | | F
||A||F=tr(ATA)‾‾‾‾‾‾‾√ | | A | | F = t r ( A T A )
酉矩阵
对于一个矩阵 A=(aij)n×n A = ( a i j ) n × n , 如果满足:
AHA=In A H A = I n
那么矩阵 A A 是一个酉矩阵,其中为 A A 的共轭转置,为 n n 阶单位阵。判断一个矩阵是否是酉矩阵的简单标准为:
酉不变范数
如果范数
||.||
|
|
.
|
|
满足
||A||=||UAV||
|
|
A
|
|
=
|
|
U
A
V
|
|
,对任何矩阵
||A||
|
|
A
|
|
以及酉矩阵
||U||
|
|
U
|
|
,
||V||
|
|
V
|
|
成立,那么这个范数为酉不变范数。
2-范数和F-范数为酉不变范数。
正定矩阵、半正定矩阵
A
A
是n阶方阵,是n维非零向量,如果:
则称 A A 为对称正定矩阵
刚称 A A 为对称半正定矩阵
- 正定矩阵的判定
- 所有特征值大于0
- 各阶主子式均大于0
- 正定矩阵的理解
- 令= AX A X , Y Y 可以看成是经过 A A 线性变换后得到的向量, 那么由得 XTY>0 X T Y > 0 ,这个式子可以得出 X X 与的点积大于0。也就是说向量 X X 经过变换后与向量 X X 所成的夹角小于90度。
特征值、特征向量
设为
n
n
阶方阵,为n维非零向量,当且仅当下式成立时,
x
x
为矩阵的特征向量,
λ
λ
为
A
A
的特征值。
特征分解
如果 A A 存在个线性无关的特征向量,那么 A A 可以被分解为:
其中 Λ Λ 是由 A A 的特征值组成的对角阵,的列为 A A 的特征向量。通俗理解:如果把矩阵看作一次运动,那么:
特征值
就是运动的速度
特征向量
就是运动的方向
对角阵
的特征值是其对角线上的各个元素
相似变换
若,
B
B
都是n阶矩阵,若存在可逆矩阵,使得
B=P−1AP
B
=
P
−
1
A
P
, 则称A是B的相似矩阵。
- 对相似矩阵的理解
相似矩阵实际上代表了在不同基下的同一个线性变换,
P
P
是逆矩阵,对矩阵乘以
P
P
和可以理解为将
B
B
所对应的坐标转换到下面,实施
A
A
变换,然后再转换到所对应的坐标下。
奇异值、SVD分解
- 奇异值的定义
设 A∈Cm×n A ∈ C m × n , 且 AHA A H A 的特征值为 λi>=0 λ i >= 0 , 刚称 σi=λ√i σ i = λ i 为矩阵 A A 的正奇异值,简称奇异值。 - SVD分解
U U 为阶酉矩阵, V V 为阶酉矩阵
其中 D D 为:
Σr×r Σ r × r 为 σi σ i 组成的对角阵