线性代数基础13--相似矩阵与奇异值分解

1,正定矩阵补充
如果矩阵A为正定矩阵,那么A的逆矩阵也一定是正定矩阵,因为其特征值等于A特征值的倒数.

如果A,B矩阵正定,那么A+B矩阵也正定.注意这里A+B矩阵的特征值不一定等于A,B特征值相加.

那么正定矩阵,除了导数矩阵外,还可以从哪得来呢?
在最小二乘法与投影中使用的A转置×A,A可逆那么就是正定矩阵.
如果A转置×A可逆,最小二乘法函数有最优解,这句话说明正规方程求解过程中

如果A不满秩(A转置×A的秩与A的秩相同),那么正规方程就没有唯一解.

这里是证明过程,A也并不再要求是方阵.

2,相似矩阵


我们之前学的就是A相似于对角矩阵,但是如果不用特征矩阵,用别的矩阵M,A也可能相似于另一个矩阵B.其中M一定可逆.
例子

A与对角矩阵相似,并且还与B矩阵相似,有性质:B与A的特征值相同,有相同数量的特征向量,对于不可对角化的矩阵还要求分块相同.
这里可以看到相似是非常大的一个概念.

之前的相似对角化,是相似的一种特殊情况,可逆矩阵M也极为特殊.现在我们来讨论一般情况.
证明如下

并且可以得到B的特征向量等于M的逆×A的特征向量.


这里对角矩阵只与本身相似,下面的矩阵叫做jordan标准型矩阵,他是最接近对角矩阵的一个矩阵,并且不可以相似对角化.但是可以找到相似矩阵.

也就是说当特征值都是重特征值的时候,只有一个矩阵可以相似对角化就是对角矩阵,其他的特征值相同的矩阵,一定不可以相似对角化.并且都只有一个特征向量.

对于上图两个矩阵,都不可相似对角化,并且有相同的4重特征值,相同数量的特征向量,但是由于分块不同,所以两个矩阵并不相似.jordan块的数量就等于特征向量的数量.

jordan块如下:必须是对角线上的元素为1.

jordan定理.

每个矩阵A都相似于一个jordan矩阵.每个jordan块对应于一个特征向量,那么对于特征值互不相同的矩阵来说,jordan矩阵就变成了对角矩阵,对于重特征值情况,如果矩阵也是可以相似于对角矩阵的,那么也是对角矩阵,如四重特征值对应四个特征向量,表示这一四重特征值在相似于jordan矩阵时,会产生4个jordan块.也就是几何重数=代数重数的情况.
如果几何重数不等于代数重数,那么就会出现二阶的jordan块,这就与对角矩阵有区别了.

从上面可以看出,对角矩阵就是特殊的jordan矩阵,也是矩阵论的研究内容.

3,奇异值分解.

将行空间中的一组正交基通过A矩阵变换,变为列空间中的一组正交基.

其中参数δ是变换后每个列向量的伸缩因子.这就是我们要对图形进行的操作.
这个δ还是一个对角矩阵.
这里也可以把零空间的基向量补在后面,但是最终的结果一定是U矩阵中出现0,对应得δ参数也是0.因为0空间与行空间相互正交.

对于对称矩阵是一种特殊的例子,它的V和U矩阵都是Q,是相同的,而其他矩阵则是分解为两个不同的正交矩阵.

这里注意V,U都是标准正交矩阵


这样通过A得转置×A我们就将U消去,得到只含有V和δ的结果.
我们通过A的转置×A得到一个正定矩阵,那么V就是这个正定矩阵的特征矩阵.
我们通过A×A的转置得到一个正定矩阵,那么U就是这个正定矩阵的特征矩阵.




这里出现错误的原因是我们无法考虑方向.
并且求出的V和U有具体的含义,就是行空间与列空间的两组标准正交基.


例二简单在于列空间与行空间的标准基只有一个.并且在最后由于需要配合中间的δ矩阵,我们把V和U都扩充成了2×2,但是其实添加进去的零空间向量与左零空间向量是完全不起作用的与填充[0,0]的效果相同.

这里注意奇异值分解可以适用于任何矩阵.如果是非方阵(m×n并且m>n)的情况,关键在于列空间与左零空间,行空间与0空间的相互补充.这里非方阵分解时中间的δ矩阵有两种解决方法,
一是将0也写出来构成m×m的矩阵,这样U为m×m,V的转置为m×n(这里左零空间的向量无法放入就用0代替)
二是,将0去掉,构成m×n的矩阵,这样U为m×m,V的转置为n×n

第二种方法自然一点.那么m×n是如何变成一个对角矩阵的呢?
如果特征值为1,2,0,那么3×2矩阵如下:本来还有一行000,被去掉了
[1 0
0 2
0 0
]