定义
特征值:一矩阵A作用与一向量a,结果只相当与该向量乘以一常数λ。即A*a=λa,则a为该矩阵A的特征向量,λ为该矩阵A的特征值。
奇异值:设A为m*n阶矩阵,AHA的n个特征值的非负平方根叫作A的奇异值。记为σi(A)
关系
对于对称矩阵和 Hermite 矩阵而言, 一个非负的特征值也是一个奇异值,相应的特征向量是相应的左右奇异向量。
几何意义
奇异值:对任意m×n阶距阵A做分解之后得到两个正交距阵U,V和一个广义对角阵(其中的对角元素就是奇异值),有了这样一个简单的描述后,对任意向量x,对应的变换Ax就可以用A分解后的三个距阵来计算了。这样的话,对于v阵的任一个元素Vi,经过变换AVi就可以得到唯一的一个Uiσi,这样就有了大家都知道的几何意义:当A是方阵时,其奇异值的几何意义是:若X是n维单位球面上的一点,则Ax是一个n维椭球面上的点,其中椭球的n个半轴长正好是A的n个奇异值。简单地说,在二维情况下,A将单位圆变成了椭圆,A的两个奇异值是椭圆的长半轴和短半轴。
首先,矩阵可以认为是一种线性变换,而且这种线性变换的作用效果与基的选择有关。
以Ax = b为例,x是m维向量,b是n维向量,m,n可以相等也可以不相等,表示矩阵可以将一个向量线性变换到另一个向量,这样一个线性变换的作用可以包含 旋转、 缩放和 投影三种类型的效应。
奇异值分解正是对线性变换这三种效应的一个析构。
A=
,
和
是两组正交单位向量,
是对角阵,表示奇异值,它表示我们找到了
和
这样两组基,A矩阵的作用是将一个向量从
这组正交基向量的空间
旋转到
这组正交基向量空间,并对每个方向进行了一定的
缩放,缩放因子就是各个奇异值。如果
维度比
大,则表示还进行了
投影。可以说奇异值分解将一个矩阵原本混合在一起的三种作用效果,分解出来了。
而 特征值分解其实是对旋转缩放两种效应的归并。(有投影效应的矩阵不是方阵,没有特征值)
特征值,特征向量由Ax=
x得到,它表示如果一个向量v处于A的特征向量方向,那么Av对v的线性变换作用只是一个
缩放。也就是说,求特征向量和特征值的过程,我们找到了这样一组基,在这组基下,矩阵的作用效果仅仅是存粹的
缩放。对于实对称矩阵,特征向量正交,我们可以将特征向量式子写成
,这样就和奇异值分解类似了,就是A矩阵将一个向量从x这组基的空间旋转到x这组基的空间,并在每个方向进行了缩放,由于前后都是x,就是没有旋转或者理解为旋转了0度。
总结一下,特征值分解和奇异值分解 都是给一个矩阵(线性变换)找一组特殊的基,特征值分解找到了特征向量这组基,在这组基下该线性变换只有缩放效果。而 奇异值分解则是找到另一组基,这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。我感觉特征值分解其实是一种找特殊角度,让旋转效果不显露出来,所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果,表示、计算的时候都更方便,这样的基很多时候不再正交了,又限制了一些应用。
以Ax = b为例,x是m维向量,b是n维向量,m,n可以相等也可以不相等,表示矩阵可以将一个向量线性变换到另一个向量,这样一个线性变换的作用可以包含 旋转、 缩放和 投影三种类型的效应。
奇异值分解正是对线性变换这三种效应的一个析构。
A=
而 特征值分解其实是对旋转缩放两种效应的归并。(有投影效应的矩阵不是方阵,没有特征值)
特征值,特征向量由Ax=
总结一下,特征值分解和奇异值分解 都是给一个矩阵(线性变换)找一组特殊的基,特征值分解找到了特征向量这组基,在这组基下该线性变换只有缩放效果。而 奇异值分解则是找到另一组基,这组基下线性变换的旋转、缩放、投影三种功能独立地展示出来了。我感觉特征值分解其实是一种找特殊角度,让旋转效果不显露出来,所以并不是所有矩阵都能找到这样巧妙的角度。仅有缩放效果,表示、计算的时候都更方便,这样的基很多时候不再正交了,又限制了一些应用。