矩阵的特征值、特征向量的概念
这里,我们讨论的是 n 阶的方阵
A
定义
从向量的定义可知,它是方向和长度的结合体。当一个线性变换
A
作用在
n
维线性空间
其中, λ 的个线性变换 A 的某一个特征值。从公式上可以轻易发现,如果某一向量
从公式(1)中,可以看出特征向量和特征值的计算方法:
|λE−A|=0(2)
(λE−A)x=0(3)
对应于同一个线性变换
A
,可以有多个特征向量(方向不同),但是有多个特征向量可以对应同一个特征值。 一个向量是一个方向,两个不同方向的向量就可以张成一个空间。在相同特征值的特征向量张成的空间内,任何一个向量在变换
公式(2)的左侧,总可以展成如下形式的多项式:
所以求特征值就是求下面方程的解:
关于从方程(4)得到的特征值,有几个比较重要的结论(参考资料1):
-
n
阶矩阵在复数范围内,一定有
n 个特征值(重特征值按重数计算个数)。 - n 阶矩阵在实数范围内有多少个特征值是不一定的
n 阶实对称矩阵可以看成是一个特例,因为它一定有 n 个实特征值(重特征值按重数计算个数)。如果其中一个特征值λ=0 ,矩阵的秩 r(A)=k ,( 0<k<n , k 是正整数),则λ=0 恰为 A 的n−k 重特征值。- 如果
n
阶矩阵
A 不是对称矩阵,那么, λ=0 至少为 A 的n−k 重特征值。
关于特征值和特征向量的理解,参考资料3写的也很好,知乎上有很多大神的回答直击要害,对问题的理解很有帮助。
作用
参考资料4中,认为矩阵的变换有三个作用:旋转,拉伸和投影。
当
A
是一个
其中正交矩阵 Q 起到旋转作用(旋转矩阵都是正交矩阵,且行列式都为1),对角矩阵
当矩阵不是方阵而是 m×n 时,可以对其进行 SVD分解
在之前,想研究一下正交矩阵。
正交矩阵
按照定义,正交矩阵是 QQT=E ,它的行列式为1或者-1。
正交矩阵的性质
了解正交矩阵的性质,在很多计算方面,能够更深入了解所进行的运算的意义。
我们这里说的都是有限维欧式空间内的正交矩阵
- 正交矩阵的转置、伴随矩阵、之间的积矩阵都是正交矩阵;
- .每一行(列)都是单位向量
- 任意两行或两列相互垂直
- 其行列式等于±1
假设
n
维欧式空间
根据正交矩阵行列式的值,将其分为两类:
第一类正交矩阵,当其左乘一个向量时,几何意义是使该量在
Oxyz
坐标系下旋转;
第一类正交矩阵,当其左乘一个向量时,几何意义是使该向量沿
Oxyz
某一轴(点)进行反射;[5]
无论是哪一类正交矩阵,其左乘向量,均不会改变向量的长度,即
|Qv|=|Q|⋅|v|=|v|
。
所以上面将矩阵
A
拆成
需要注意的是,只有当矩阵
SVD分解
协方差
假设有两个变量
X
和
根据奇异值分解
与
n×n
阶矩阵按特征值分解相似,任一
m×n
阶矩阵
A
也可以写成类似的形式:
那么得到的U是一个 m×m 的方阵(里面的向量是正交的, U 里面的向量称为左奇异向量),
求法
利用如下公式可以计算出各矩阵:
对方程计算,得到的 v ,就是的右奇异向量;
作用
当矩阵
用奇异值分解图像
用奇异值的方法,将这幅图像进行分解,得形如
A=UΣVT
格式的矩阵。其中
Σ
是由矩阵奇异值由大到小排列组成的对角矩阵。
我们分别保留前10,30,100,300个奇异值,其余奇异值设为0,比较图像的变化:
奇异值保留前10
奇异值保留前30
奇异值保留前100
奇异值保留前300。
代码
import cv2
import numpy as np
from numpy import linalg as la # 用到别名
from scipy.misc import imsave
import scipy
im = cv2.imread('lena512.bmp')
print(im.shape)
gray = cv2.cvtColor(im, cv2.COLOR_BGR2GRAY)
U, Sigma, VT = la.svd(gray)
print('矩阵U的形状:', U.shape, ' 矩阵Sigma的形状:',
Sigma.shape, ' 矩阵VT的形状:', VT.shape)
se = np.eye(512, dtype=np.float64)
n = 512
i = 0
k = 30 # 保留特征值数目
# 改变特征值
while i < n:
if i > k - 1:
Sigma[i] = 0
se[i, i] = Sigma[i]
i += 1
svt = np.dot(se, VT)
usvt = np.dot(U, svt)
imsave('USVT_Sigma=30m.bmp', usvt)
参考资料
- 秦川, 李小飞. 方阵的秩与特征值的关系[J]. 课程教育研究:学法教法研究, 2015(27):120-120.
- 如何通俗易懂地解释「协方差」与「相关系数」的概念?
- 如何理解矩阵特征值?马同学的回答
- 矩阵的特征值分解与奇异值分解的几何意义
- 杜美华, 孙建英. 正交变换的几何意义及其应用[J]. 哈尔滨师范大学自然科学学报, 2014, 30(3):36-39.