矩阵的谱分解(可对角化矩阵——满秩可逆)
谱分解定理:设 为一个n阶可对角化矩阵,A的谱为 其中 的重数为 ,则存在唯一一组s个n阶方阵 ,满足
(1) (2) (3)
(4) (5)
这些矩阵 称为矩阵A的成分矩阵或主幂等矩阵。一般成分矩阵不一定是Hermite矩阵,因此, 中的诸向量 未必是正交的。
谱分解的计算例子:
求矩阵的谱分解,
解: 所以A有特征值 (两重)。通过齐次线性方程组,可得对应于特征值的特征向量分别为:
令 ,则可以求出
这里计算P的逆矩阵很烦人的,可以用初等行变换的方法进行求解。因此,
故A的谱分解为 . A的幂为 说明谱分解本质上还是为方便求解矩阵幂服务的。前面我们知道矩阵的对角化,可以方便我们求逆。矩阵的满秩分解可以方便我们求逆,现在我们知道矩阵的谱分解可以方便我们求幂。但是谱分解和对角化都要求矩阵是满秩可对角化的,如果不满足这些条件的矩阵能够有方便的形式求解吗?答案是肯定的,矩阵的Jordan标准型就是专门为矩阵求幂设计的。
矩阵求逆问题也是重点。但是矩阵求逆为了在数值上计算稳定,数学家们想出了很多将矩阵分的方法,后面我们将会看到矩阵的LU三角分解,QR正交分解,奇异值分解等,都是为了在数值上获得矩阵求逆的稳定方法而设计的。
矩阵的LU分解(n阶方阵,不一定存在)
LU分解实际上是高斯消元的另一种看法。即对于任意的n阶方阵A,存在L是单位下三角矩阵,U是上三角矩阵,使得 . 这里对矩阵A只要求是方阵,其他的要求都没有。
考虑高斯消元,即存在初等矩阵 ,对矩阵A进行初等行变换,可以将A变为上三角矩阵,该上三角矩阵就是U. 举个例子: 对于任意的3阶矩阵,我们能通过左乘初等矩阵,即 (不交换行) 那么我们有
可以发现,L必定为单位下三角矩阵。因为我们的初等变换都只涉及对A的下三角部分进行变换,另外,每一个初等矩阵的逆都不会改变主对角元素(都是1)。
从高斯消元的角度可以看出,如果矩阵A最后一行不能被前面的r(A)行线性表示,则就找不到初等矩阵,使得A经过初等行变换后变成U,则三角分解不存在。
如果方阵A可逆,并且有三角分解,则该分解是唯一的。(因为最后一行可以被前面r(A)唯一的线性表示。)
矩阵QR分解(可逆矩阵存在)(唯一)
矩阵可逆也不一定存在三角分解,这是非常令人遗憾的。矩阵正交(Q)三角(R)分解是对任何可逆矩阵都存在的理想分解。其原理是斯密特正交化。首先给出QR分解的定理:
设 且A为满秩的,则存在唯一的酉矩阵U和对角线元素均为正的上三角矩阵R,使得 .(当然对于实数矩阵,这里的酉矩阵类比为正交矩阵Q即可)
一个很重要的推广是矩阵A可以是非方阵,只需要列满秩即可, , 则矩阵 为r个列向量构成的标准正交基, 为对角线元素为正的上三角矩阵。分解也是唯一的。
计算过程:
以实数矩阵为例,对于列满秩矩阵 ,求其QR分解。
解:令 由斯密特正交化方法得:
从而有:
值得注意的是上三角矩阵R是怎么计算的?
对斯密特正交化的过程进行变形得:
写成矩阵形式:
所以在计算QR分解时,把步骤写清楚,尤其是在计算 时,因为每一个系数都会成为矩阵的元素。
矩阵的奇异值分解(普适性很强,要求很低)
对标正规矩阵(normal matrix),正规矩阵都可以酉对角化。这是非常好的性质。但是非正规矩阵是否具有类似的性质呢?注意到正规矩阵满足 ,其中 两个酉矩阵互为共轭转置,我们能不能放弃这一性质,使得非正规矩阵矩阵也有类似的分解?当然可以。
奇异值分解定理:设 且 则存在m阶和n阶酉矩阵U和V,使得 ,其中 , 称为奇异值。
这里不谈证明,直接给出奇异值分解的计算方法。
那么分别求其正规矩阵形式的酉对角化,即有
利用上面两个等式,可以分别求出 矩阵。
,其特征值分别为1,3,对应的标准正交特征向量为 这里就求出了U矩阵。
接着我们有
其对应的特征值为1,3,0(注意这里第三个特征值必须为0)
对应的特征向量可以计算分别为
其中 可以不用计算,因为他必须和前面两个特征向量正交。这样我们就求出了V。然后根据奇异值分解定理,可以得到
Chelesky分解(实正定矩阵)
chelesky分解是针对实正定矩阵而言的。正定矩阵一般默认是对称的。实正定矩阵A必存在三角分解A=LU,且存在唯一的对角元素均为正的下三角矩阵G,使得 .举个简单的例子, A是正定的。存在初等变换 ,使得
因为A对称,对A的初等行变换,其转置就是对A的初等列变换。因此可以化为对角矩阵(对实对称矩阵的对角化)。那么令
这是只需要进行一次初等行变换的条件下,计算方法。当需要多次进行初等行变换时,计算是类似的。此时需要将所有的初等变换看成一个初等变换,把它当成 即可。
*文章内容整理于https://zhuanlan.zhihu.com/p/52890135
------------------------------
欢迎关注爱数学之家, 一个致力于传播数学文化的公众号