本文复习矩阵的特征值、特征向量、对角化、正交性(投影、施密特正交化、QR分解、内积空间)等内容。
特征值和特征向量:
def:A为n×n矩阵,x为非零向量,若存在数
λ
\lambda
λ使
A
x
=
λ
x
Ax=\lambda x
Ax=λx成立,则称
λ
\lambda
λ为A的特征值,x称为对应于
λ
\lambda
λ的特征向量。
矩阵的特征值表征了矩阵的一些很重要的特征,特征值越大,说明其涵盖了矩阵越多的信息。 PCA就是通过筛掉较小的特征值,留下较大特征值实现的数据降维。
根据定义,特征向量必须非零,特征值可以为0。且可以得到特征方程如下:
(
A
−
λ
I
)
x
=
0
(A-\lambda I)x=0
(A−λI)x=0
据此可知
A
−
λ
I
A-\lambda I
A−λI为奇异矩阵,即
d
e
t
(
A
−
λ
I
)
=
0
det(A-\lambda I)=0
det(A−λI)=0,进而可以计算一个方阵A的特征值,然后将特征值逐一代入特征方程中,求解齐次线性方程,得到该特征值对应的特征向量。若根据同一个特征值得到了k个线性无关的特征向量,则称该特征值为k重特征值。
几何意义:
考虑
A
x
=
λ
x
Ax=\lambda x
Ax=λx,一个方阵A(n×n)乘以一个
R
n
R^n
Rn空间中的向量x,相当于对向量x做了一个变换,其特点是:变换前后向量x的方向不变,大小(长度)扩大了
λ
\lambda
λ倍,且仍然在
R
n
R^n
Rn空间中。
即:对于给定的矩阵A,满足上述特点的向量x称作A的特征向量,x扩大的倍数称作A的特征值 λ \lambda λ。
这一点可以类比信号与系统中关于线性时不变系统特征函数(指数函数)的介绍:一个LTI系统作用于一个输入,当且仅当该输入信号为指数函数形式时,输出响应与输入激励形式相同,幅度扩大常数倍,称这样的函数为LTI的特征函数,扩大的系数为特征值。
性质:
1.三角矩阵的主对角线的元素即为其特征值
2.矩阵相异特征值对应的特征向量集合线性无关
3.对于矩阵
A
n
×
n
A_{n×n}
An×n,其n个特征值{
λ
1
,
λ
2
.
.
.
λ
n
\lambda_1,\lambda_2...\lambda_n
λ1,λ2...λn}加和等于矩阵
A
A
A的迹,乘积等于A的行列式:
∑
i
=
1
n
λ
i
=
t
r
(
A
)
\sum_{i=1}^{n}\lambda_i=tr(A)
∑i=1nλi=tr(A)
∏
i
=
1
n
λ
i
=
d
e
t
(
A
)
\prod_{i=1}^{n}\lambda_i=det(A)
∏i=1nλi=det(A)
4.数
λ
\lambda
λ是n×n矩阵A特征值的充要条件是
λ
\lambda
λ是特征方程
d
e
t
(
A
−
λ
I
)
=
0
det(A-\lambda I)=0
det(A−λI)=0的根
5.
d
e
t
(
A
−
λ
I
)
det(A-\lambda I)
det(A−λI)是n次多项式,称为A的特征多项式
6.对于实对称矩阵,其不同特征值对应的特征向量两两正交(可作为空间中的一组正交基)
7.若实矩阵是对称或近似对称的,其特征值均为实数;若矩阵是反对称(对应位置互为相反数)的,特征值均为纯虚数
8.只有方阵才有特征值
相似矩阵:
设A、B是n×n矩阵,如果存在可逆矩阵P,使得
P
−
1
A
P
=
B
P^{-1}AP=B
P−1AP=B,则称A相似于B,把A变成
P
−
1
A
P
P^{-1}AP
P−1AP的变换称为相似变换
对角化:
n×n矩阵A可对角化的充要条件是A有n个线性无关的特征向量
即A对角化充要条件是A有足够的特征向量可以形成
R
n
R^n
Rn的基,我们称这样的基为特征向量基。矩阵对角化形式如下:
A
=
P
Λ
P
−
1
A=P\Lambda P^{-1}
A=PΛP−1
Λ
\Lambda
Λ为对角线上元素均为A的特征值的对角矩阵,P的各列均为
Λ
\Lambda
Λ中对应特征值的特征向量
容易得出如下结论:
1.有n个相异特征值的n×n矩阵可对角化
2.设A为对称矩阵,对角化有:
A
=
Q
Λ
Q
−
1
=
Q
Λ
Q
T
A=Q\Lambda Q^{-1}=Q\Lambda Q^T
A=QΛQ−1=QΛQT
矩阵Q为正交矩阵(
Q
T
=
Q
−
1
Q^T=Q^{-1}
QT=Q−1),上式有时还称为谱定理
当然,对于存在多重(大于1重)特征值的矩阵,当且仅当各个多重特征值所对应的特征向量之间线性无关时,该矩阵可以对角化
观察到矩阵对角化具有的特殊形式,考虑对矩阵做幂运算有:
A
k
=
P
Λ
k
P
−
1
A^k=P\Lambda^k P^{-1}
Ak=PΛkP−1
据此可以方便地计算一个矩阵的方幂
A
k
A^k
Ak,而且可得到如下结论:
1.若矩阵
A
A
A的特征值为一系列
λ
\lambda
λ,则矩阵
A
k
A^k
Ak的特征值为一系列
λ
k
\lambda^k
λk,但其特征向量不变(由几何意义易得:方向不变)
2.对于一个矩阵A,如果当k趋于无穷时,
A
k
A^k
Ak趋近于零矩阵,则称A是稳定的(此时一定满足条件:A的所有特征值的绝对值小于1)
正交性:
向量的长度定义为向量的二范数,向量长度也称范数
长度为1的向量称为单位向量,一个非零向量除以自身的长度可以得到单位化的向量,这个过程称为向量的单位化
空间距离的定义:
def:
R
n
R^n
Rn中向量u和v的距离,记作
d
i
s
t
(
u
,
v
)
dist(u,v)
dist(u,v),表示向量u-v的长度,即
d
i
s
t
(
u
,
v
)
=
∣
∣
u
−
v
∣
∣
dist(u,v)=||u-v||
dist(u,v)=∣∣u−v∣∣
正交向量:
如果两个向量u和v满足
u
v
=
0
uv=0
uv=0,则向量u和v正交
两个向量正交u,v的充要条件是
∣
∣
u
+
v
∣
∣
2
=
∣
∣
u
∣
∣
2
+
∣
∣
v
2
∣
∣
||u+v||^2=||u||^2+||v^2||
∣∣u+v∣∣2=∣∣u∣∣2+∣∣v2∣∣
正交补:
若向量z与
R
n
R^n
Rn的子空间W中的任意向量均正交,则称z正交于W
与子空间W正交的所有向量z的集合称为W的正交补,记作
W
⊥
W^\bot
W⊥,它也是
R
n
R^n
Rn的一个子空间
向量的夹角和相关系数:
空间中的两个向量u和v 有内积表达式:
u
v
=
∣
∣
u
∣
∣
∣
∣
v
∣
∣
c
o
s
θ
uv=||u||||v||cos\theta
uv=∣∣u∣∣∣∣v∣∣cosθ
其中的
θ
\theta
θ称作两个向量的夹角,也称作它们的相关系数
正交投影:
考虑在一个n维空间中,一个向量y在一组正交基
u
u
u={
u
1
,
u
2
.
.
.
u
n
u_1,u_2...u_n
u1,u2...un}上的投影:
p
r
o
j
L
y
=
y
∗
u
u
∗
u
∗
u
proj_Ly=\frac{y*u}{u*u}*u
projLy=u∗uy∗u∗u
我们称上式中的
p
r
o
j
L
y
proj_Ly
projLy为y在u上的正交投影,上式也称为正交分解定理。类似地,空间中任一向量y在子空间W上的正交投影
p
r
o
j
W
y
proj_Wy
projWy是子空间W中最接近y的点,这被称为最佳逼近定理
P
y
=
u
Py=u
Py=u
上式P称为投影矩阵,相当于对向量y做的一个直接的变换,称为与u同方向的一个投影,投影矩阵有如下性质:
P
T
=
P
P^T=P
PT=P
P
2
=
P
P^2=P
P2=P
考虑三维及以上情况的投影,将向量u投影到子空间W上,正交投影p=Ax,x为子空间中的一组正交基,且有投影矩阵产生的变换:
P
u
=
p
Pu=p
Pu=p,同理可得投影矩阵P的通式:
P
=
A
(
A
T
A
)
−
1
A
T
P=A(A^TA)^{-1}A^T
P=A(ATA)−1AT
一个显然的定理:一个m×n矩阵U具有单位正交列向量的充要条件是 U T U = I U^TU=I UTU=I。这定义了正交矩阵的基本性质
正交投影可类比与空间中力的分解,很好理解
施密特(Gram-Schmidt)正交化:
施密特方法是对
R
n
R^n
Rn空间中任何非零子空间,构造正交基后标准正交基的一个简单算法,该算法的思想基于刚刚提到的正交投影:不失一般性,考虑二维平面上的给定的两个非正交的向量u、v,先计算出向量u相对于v的正交投影proj,向量u与该投影相减即为和v正交的向量,然后对二者单位化即可得到标准正交基。算法流程如下:
对于
R
n
R^n
Rn中子空间的一个基{
x
1
,
x
2
,
.
.
.
,
x
p
x_1,x_2,...,x_p
x1,x2,...,xp},定义:
v
1
=
x
1
v_1=x_1
v1=x1
v
2
=
x
2
−
x
2
v
1
v
1
v
1
v
1
v_2=x_2-\frac{x_2v_1}{v_1v_1}v_1
v2=x2−v1v1x2v1v1
v
3
=
x
3
−
x
3
v
1
v
1
v
1
v
1
−
x
3
v
2
v
2
v
2
v
2
v_3=x_3-\frac{x_3v_1}{v_1v_1}v_1-\frac{x_3v_2}{v_2v_2}v_2
v3=x3−v1v1x3v1v1−v2v2x3v2v2
…
v
p
=
x
p
−
x
p
v
1
v
1
v
1
v
1
−
x
p
v
2
v
2
v
2
v
2
−
.
.
.
−
x
p
v
p
−
1
v
p
−
1
v
p
−
1
v
p
−
1
v_p=x_p-\frac{x_pv_1}{v_1v_1}v_1-\frac{x_pv_2}{v_2v_2}v_2-...-\frac{x_pv_{p-1}}{v_{p-1}v_{p-1}}v_{p-1}
vp=xp−v1v1xpv1v1−v2v2xpv2v2−...−vp−1vp−1xpvp−1vp−1
那么{
v
1
.
.
.
v
p
v_1...v_p
v1...vp}是W的一个正交基,将其标准化后得到W的一组标准正交基
标准正交基即为一个正交基中每个向量的单位化(除以自身的二范数)
QR分解:
若m×n矩阵A的列线性无关,则A可分解为
A
=
Q
R
A=QR
A=QR,其中Q是一个m×n矩阵,其列形成ColA的一个标准正交基**,R是一个n×n的上三角可逆矩阵,且对角线上的元素为正数。证明如下:
由于
A
=
[
x
1
,
x
2
,
.
.
.
x
n
]
A=[x_1,x_2,...x_n]
A=[x1,x2,...xn],利用施密特正交化可以得到有一组标准正交基组成的列向量矩阵
Q
=
[
u
1
,
u
2
,
.
.
.
u
n
]
Q=[u_1,u_2,...u_n]
Q=[u1,u2,...un],且满足:
对任意
x
k
x_k
xk属于Span{
u
1
,
.
.
.
u
k
u_1,...u_k
u1,...uk},存在常数{
r
1
k
,
r
2
k
,
.
.
.
r
k
k
r_{1k},r_{2k},...r_{kk}
r1k,r2k,...rkk}使得:
x
k
=
r
1
k
u
1
+
.
.
.
+
r
k
k
u
k
+
0
u
k
+
1
+
.
.
.
+
0
u
n
x_k=r_{1k}u_1+...+r_{kk}u_k+0u_{k+1}+...+0u_n
xk=r1ku1+...+rkkuk+0uk+1+...+0un
即:
x
k
=
Q
r
k
x_k=Qr_k
xk=Qrk,其中
r
k
=
[
r
1
k
,
.
.
.
r
k
k
,
0
,
.
.
.
,
0
]
r_k=[r_{1k},...r_{kk},0,...,0]
rk=[r1k,...rkk,0,...,0],取
R
=
[
r
1
,
r
2
,
.
.
.
r
n
]
R=[r_1,r_2,...r_n]
R=[r1,r2,...rn],则有:
A
=
Q
R
A=QR
A=QR
计算:对于给定矩阵A,首先利用施密特正交化计算出标准正交矩阵Q,然后由 R = Q − 1 A R=Q^{-1}A R=Q−1A可得上三角矩阵R
最小二乘问题:
针对一个不相容的方程组:
A
x
=
b
Ax=b
Ax=b,利用投影中最佳逼近定理找到一个使得
∣
∣
A
x
−
b
∣
∣
||Ax-b||
∣∣Ax−b∣∣最小的解x,称为最小二乘解,由如下定理得到:
一个定理:方程
A
x
=
b
Ax=b
Ax=b的最小二乘解集和法方程
A
T
A
x
=
A
T
b
A^TAx=A^Tb
ATAx=ATb的非空解集一致
显然,该法方程解集为:(当然,也可以先将A做QR分解然后再计算)
x
=
(
A
T
A
)
−
1
A
T
b
x=(A^TA)^{-1}A^Tb
x=(ATA)−1ATb
可以注意到,该解的形式和统计中常用的线性回归算法的解相同,因为求解线性回归问题的一个简单优化方法正是计算其不相容线性方程组的最小二乘解(当然现在更多的使用梯度下降)
内积空间:
向量空间V上的内积是一个函数,对每一对属于V的向量u和v,存在一个实数
<
u
,
v
>
<u,v>
<u,v>满足下面公理,对任意属于V的u,v,w和所有数c:
1.
<
u
,
v
>
=
<
v
,
u
>
<u,v>=<v,u>
<u,v>=<v,u>
2.
<
u
+
v
,
w
>
=
<
u
,
w
>
+
<
v
,
w
>
<u+v,w>=<u,w>+<v,w>
<u+v,w>=<u,w>+<v,w>
3.
<
c
u
,
v
>
=
c
<
u
,
v
>
<cu,v>=c<u,v>
<cu,v>=c<u,v>
4.
<
u
,
u
>
<u,u>
<u,u> >=0且
<
u
,
u
>
=
0
<u,u>=0
<u,u>=0的充要条件是u=0
一个赋予上面内积的向量空间成为内积空间
有以下两个不等式:
1.
∣
<
u
,
v
>
∣
|<u,v>|
∣<u,v>∣<=
∣
∣
u
∣
∣
∣
∣
v
∣
∣
||u|| ||v||
∣∣u∣∣∣∣v∣∣(柯西-施瓦茨不等式)
2.
∣
∣
u
+
v
∣
∣
||u+v||
∣∣u+v∣∣<=
∣
∣
u
∣
∣
+
∣
∣
v
∣
∣
||u||+||v||
∣∣u∣∣+∣∣v∣∣ (三角不等式)
函数的内积是定义在某个区间上的函数乘积的积分