三阶矩阵的lu分解详细步骤_万能的 SVD 分解是哪位牛人提出来的？

奇异值分解(SVD)在机器学习、信号处理、统计学以及金融等领域中具有广泛应用。

但你有没有想过它是怎么来的呢？我猜十有八九没看到过吧，没关系，本文很快就告诉你。

在 1870 年代由意大利数学家贝尔特拉米(Beltrami)和法国数学家若尔当(Jordan)引入。英国数学家西尔维斯特(Sylvester)于 1889 年独立于贝尔特拉米和若尔当提出了对矩阵进行了奇异值分解。

在刚提出的那个时候，都是针对实数方阵而言的。1902 年，由 Autonne 引入了复数矩阵，并在 1939 年由 Eckhart 和 Young 引入了一般矩阵(即实数/复数和方阵/非方阵)。

而本文主要看一看在早期提出 SVD 的时候，有哪些数学家分别做了什么工作。目的是加深对 SVD 的了解，以便能更好地应用这个线代中的强大工具。

1引言

矩阵理论中最重要的思想之一就是矩阵分解。矩阵分解的理论实用性早已受到数学家们的肯定。而随着计算机的发明，它们逐渐成为数值线性代数的支柱，它们已经成为可以解决各种问题的计算平台。

而矩阵分解的发展离不开所谓的规范型。为了理清这一发展思路，让我们从简要介绍相关的历史背景开始。

大多数经典的矩阵分解方法的提出时间是要早于矩阵概念得到广泛使用的年代。矩阵分解法是随着行列式、线性方程组，尤其是双线性形式和二次型等问题的研究而提出来的。

高斯可以说是做了一些早期工作。他在 1823 年撰写的论文中使用他早在 1801 年就使用的消元法来实现如下任务，

具体而言，可以将函数 (关于 的一个二次型)简化为以下形式：

其中，除数 等是常数，而 等是 等的线性函数。但是，第二个函数 独立于 ；第三个 独立于 和 ；第四个 独立于 和 ，依此类推。最后一个函数 仅取决于最后一个未知数。此外，系数 在 中分别乘以 。

从中我们可以看到高斯这里的方法将二次型 的矩阵分解为乘积 ，其中 是对角矩阵，而 是与 具有相同对角元素的上三角矩阵。

高斯这里的 等函数是向量 对应的元素。

另外，高斯通过消元法还能有效地获得矩阵的逆，从而将方程组 转换为逆线性系统 。高斯处理二次型和线性方程组的技巧使他对最小二乘法的理论和应用的一般化处理成为可能。

随后，针对不同的问题出现了一系列进展，

• 1829 年，柯西(Cauchy)通过考虑二次型和相应的齐次方程组，建立了对称矩阵的特征值和特征向量的特性。
• 1846 年，雅可比(Jacobi)给出了著名的对称矩阵对角化算法，在 1857 年的遗作中，他通过以高斯形式分解双线性形式获得了 LU 分解。
• 1868 年，魏尔斯特拉斯(Weierstrass)为一对双线性函数建立了规范型，该问题现在被称为广义特征值问题。因此，从一定角度看来，1873 年提出的奇