二维矩阵传参不会改变值_MIT 18.065—12 计算特征值和奇异值

12. Computing Eigenvalues and Singular Values

https://www.youtube.com/watch?v=d32WV1rKoVk&list=PLUl4u3cNGP63oMNUHXqIUcrkS2PivhN3k&index=14​www.youtube.com

开始之前感谢MIT Gilbert Strang教授的这门课。

本节课主要讲述了如何计算特征值，奇异值。通过行列式的方法计算特征值只能是小于5x5的矩阵，大于5x5的矩阵就没有公式直接求解。那么如何求解呢，其中一个思路找到一个上三角矩阵相似与所求的矩阵，这样子矩阵的特征值就是对角线值。通过Schur的方法可以得到一个上三角矩阵，但是需要无穷次迭代。为了减少运算先通过householder变换得到一个Hessenburg矩阵（次对角线以下都是0），然后再经过Schur方法经过有限操作可以快速求得近似的特征值，最后我们还可以用带平移的QR分解加速Schur方法。

1. Schur's lemma 得到上三角矩阵，特征值出现在对角线。
2. 带有平移的QR分解。
3. householder变换得到Hessenburg矩阵。
4. 奇异值计算
5. Krylov方法

• Schur's lemma

当k趋近于无穷的时候会得到一个上三角矩阵，特征值出现在对角线上。

现在通过QR分解来计算特征值：

1. QR分解得到
2. 令
   ，很容易得到
3. 继续分解
5. 经过n步操作可以得到

经过n步的操作会发现

对角线下面的值会趋近于0变成一个上三角矩阵，且

和

相似所以经过这一系列操作可以求解得到矩阵

的特征值。

为什么经过上述步骤可以使

对角线下面的值收敛于0，可以简单可以解释为：

分解得到了一个orthogonal matrix 和一个上三角矩阵

通过矩阵列乘可以看到

第一列，会发现

，所以可以发现左下角的值在已经过一次迭代之后变小，经过无数次迭代之后就变成0，最终会得到一个上三角矩阵，其实只要经过有限次迭代就可以得到很近似的特征值。

这个方法迅速淘汰了所有其他用于计算特征值的方法。

• 带有平移的QR分解

1. QR分解得到
2. 令
   很容易可以证明
   于
   相似
3. 经过n步之后可以得到一个上三角矩阵

这样处理的好处是使得特征值收敛得更快。

引入一个平移矩阵他和原矩阵有相同的特征向量，而特征值改变s ，这样子加快收敛速度。

（挖个坑具体为什么能加快收敛以及S如何取值）

Householder变换得到Hessenburg矩阵

假设我们能通过一系列操作让左下角变成0，那样子就立即知道特征值。实际上是不能的，而特征值计算对应一个一元高次方程，而高于5次的方程是没有代数解法，所以没有公式可以简单的求

。我们通过QR方法

，是尽可能逼近特征值。

既然无法通过相思变换很容易的得到上三角矩阵，但是我们可以很容易的得到Hessenburg矩阵（次对角线以下都是0）

次对角线下都是0

Householder变换也称作镜像变换

可以把矩阵的第一列通过镜像到

的思路尽可能的得到0。

例子：

对A做相似变换

令

其中

是一3x3 Householder 矩阵。用矩阵的分块乘法可以得到：

其中

让

平行于

，

所以

计算出

得到Householder矩阵

计算得到

继续重复上述操作，

Householder 矩阵

计算得到

最终得到了Hessenburg矩阵

MATLAB计算特征值

1. 求计算矩阵的Hessenburg矩阵
2. 带有平移的QR分解

n次迭代或者

• 奇异值计算

矩阵的SVD分解为

，会发现

不会改变矩阵的奇异值，因为左侧两个正交矩阵的乘积

QU依旧是正交矩阵。

可验证

QU是正交矩阵。

因此有了更多的自由空间，即

最终矩阵A可以被处理为双对角线矩阵

如果直接对

处理可以得到对称的Hessenburg矩阵

（挖个坑 计算SVD例子）

• Krylov方法

如果矩阵很大需要用Krylov方法。

1000维度的空间，他把矩阵限定在1000维度。只会在这1000维空间上看待矩阵A。如果限定在100维的Krylov空间中，这个子空间就可以捕获特征向量。向量

v表示为线性组合：

通过构造Krylov向量得到这种特定类型的子空间，通过Gram-schmidt快速获得它的基向量，考察一下矩阵在该空间中的作用，可以寻找到限于该空间的特征值。

（教授这里也只是简单的提了一下，这个学期也不会在讲Krylov方法 emmmmmmmmm）

参考文章：

特殊矩陣 (4)：Householder 矩陣​ccjou.wordpress.com

下面是清华大佬写的文章。

三少爷的贱男春：MIT 18.065—机器学习中的矩阵方法13 随机矩阵乘法​zhuanlan.zhihu.com

https://wenku.baidu.com/view/f9084956312b3169a451a4e2​wenku.baidu.com https://zh.wikipedia.org/wiki/%E8%88%92%E5%B0%94%E5%BC%95%E7%90%86​zh.wikipedia.org 利用舒爾引理證明可交換矩陣同時可三角化​ccjou.wordpress.com