矩阵分解 (加法篇)

转自简书：https://www.jianshu.com/p/fc89d92bbc24

引言

分解的思想其实并不古老， 而且大家都熟悉的，把复杂的分而治之，然后再组合起来。

分解有什么好处？

类比的看， 我们知道整数的分解可以利用乘法也可以利用加法。譬如我们玩过的游戏24点， 就是利用加法进行分解和整合。这种分解很重要的是计算上的便利性！

而质数（素数）因子分解， 又是另外一种方式的分解。 而这种分解，重要的是对数本身理解上的便利性。而理解上的便利， 又带来了计算上的便利。

那么，类比到矩阵， 也有加法和乘法的两种分解。

矩阵的加法分解

三种经典分解

最经典的是雅克比Jacobi方法， 将一个矩阵分为对角阵和非对角阵的部分。

类似的也有高斯-赛德尔Gauss–Seidel方法，分解成上三角和下三角阵之后。

更进一步， 我们可以有逐次超松驰迭代法Successive Over Relaxation (SOR), 更进一步分解成三部分， 对角阵和上下三角形。 同时增加权重调整分解后的比例。

这样的分解， 利用内在的等式应有的平衡性和不动点收敛理论， 可以快速迭代。

如何理解这种分解？

首先对x的拆分到等式左右两边之后， 可以看成是找到y=x和另外一个函数的交点，再根据不动点收敛理论（参考收敛率概述 (Overview of Rates of Convergence)）， 就可以进行迭代求解了。  下面可以看一下不动点理论告诉我们，并不是任何分解都能收敛的！

所以， 在雅克比方法里面， 要求谱半径小于1：

对于谱半径 和 矩阵范数直接的关系联系起来去理解。

然后，可以通过不动点理论， 要求曲线的斜率绝对值不大于1， 这样直观去理解可收敛性。

小结：

这里通过简单类比， 分析了矩阵分解的加法的策略。 下次， 我们分析矩阵分解乘法的策略，常见的有LU, LDL, QR, SVD分解。 那么这些分解， 类比的来说为什么容易计算的同时， 还可以方便对矩阵的认识呢？

作者：史春奇
链接：https://www.jianshu.com/p/fc89d92bbc24
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。