奇异值笔记

回到基本力学，我们知道，任何力矢量都可以沿x和y轴分解成其分量：

SVD就是将向量分解到正交轴上而已，让我们来看看具体是如何实现的：
当向量（a）分解时，我们得到3条信息：

投影方向-表示我们投影（分解）的方向的单位矢量（v 1和v 2）。 在上面，它们是x和y轴，但可以是任何其他正交轴。

投影的长度（线段sₐ₁和sₐ2）-告诉我们在每个投影方向上包含多少矢量（矢量a的方向比v 2倾斜的方向多于v，因此sₐ>sₐ2） 。

投影向量（pₐ₁和pₐ22）-用于通过将原始向量a相加（作为向量和）来重建原始向量a，并且很容易验证pₐ₁=sₐ₁v₁和pₐ_2=sₐ2 v22- 因此它们是多余的，因为它们可以从前两个部分推导出来。

总的来说：
任何向量都可以表示为：
1.投影方向单位矢量（v 1，v 2，…）。
2.投影到它们的长度（sₐ₁，sₐ2，…）。

SVD所做的所有事情就是将这一结论扩展到多个向量（或点）以及所有维度上：

如何处理这个混乱

如果不先处理单个向量，我们将无法处理混乱的局面！

如果您查看许多在数学上所做的归纳，您会发现它们主要利用矩阵。

因此，我们必须找到一种方法来表达使用矩阵进行向量分解的操作。

事实证明，这样做很自然：

我们要沿着单位向量v 1和v 2分解（投影）向量a。
我们已经知道投影是由点积完成的-它为我们提供了投影的长度（sₐ₁和sₐ2）：

但这是多余的。 我们可以利用矩阵的效率…

或者添加更多的点：

那么结果就像这样：

现在可以很容易地概括为任意数量的点和尺寸：

下面用gif表示更加生动：


这等价于：

SVD所说的就是这些（记住关键结论）：

可以根据它们在某些正交轴（V）上的投影长度（S）来表示任何一组向量（A）。

但是，我们还要继续。 常规SVD公式表示【公式1】：

---

A是一个m×n矩阵
U是一个m×n正交矩阵
S是一个n×n对角矩阵
V是n×n正交矩阵

最后一个矩阵被转置的原因将在以后的讨论中变得很清楚。 另外，将定义术语“正交”（以防您的代数变得有点生锈），并阐明两个外部矩阵具有此属性的原因。

目前，我们假设m≥n。 当我认为不正确时会发生什么，这很有趣，并且是理解奇异值分解的关键之一。

这已经变得非常复杂，因此我将使用求和符号重写方程式（1）。 每当遇到矩阵方程式问题时，这都是我继续进行的方法。 在这种情况下，虽然它没有使任何事情变得简单，但确实使所有事情都变得明确：

请注意，我们是如何将对角矩阵S折叠为向量的，从而将表达式简化为单个求和。 变量{sᵢ}称为奇异值，通常按从大到小的顺序排列：

U的列称为左奇异向量，而V的列称为右奇异向量。
我们知道U和V是正交的，即：

I 是单位矩阵。 仅单位矩阵的对角线为1，其他所有值均为0。请注意，由于U不是square，我们不能说U Transpose（U）= I，所以U仅在一个方向上正交。

使用正交性，我们可以将【公式1】重新排列为以下特征值方程对：

数值程序
由于Transpose（A）A的大小等于或小于A Transpose（A）的大小，因此典型的过程是将等式（3）插入特征值计算器中以找到V和S²，然后将A投影到V上来找到U：

（4）
注意，该方法是完全对称的。 当换位A时，U和V改变位置：

因此，如果m <n，我们可以转置A，执行分解，然后交换U和V的角色。
在这种情况下，U将是一个m×m的方矩阵，因为最多可以有m个非零的奇异值，而V将是n×m的矩阵。

以上只是干燥的技术说明。它不能使我们直观地了解该方法的作用。因此，让我们想象一下二维最简单的示例。它很自然地推广到更高的维度。
假设我们有两个二维矢量，x 1 ＝（x 1，y 2），x 2 ＝（x 2，y 2）。如图所示，我们可以将具有长轴a和短轴b的椭圆拟合到这两个向量。但是为了使事情变得更轻松并节省类型，我们使用矩阵代数写出方程式。
我们可以通过拉伸和旋转单位圆来构造任何大小和方向的椭圆。
令x’=（x’，y’）为转换后的坐标：

其中R是旋转矩阵：

M是包含长轴和短轴的对角矩阵：

在一般情况下，让我们逐期写出：

其中mᵢ是矩阵M的第i个对角线，对于二维情况：

请注意，旋转是顺时针方向，与通常意义相反，因为我们是从未变换的坐标系转到变换的坐标系，而不是相反。对于产生的椭圆，角度将是通常的逆时针方向。
单位圆的等式如下：

我们希望拟合一组x，我们将它们收集为矩阵X的行：

（5）
给出的矩阵方程为：

这只是等式（3）的重排。如果我们将A视为点的集合，则奇异值是最小二乘拟合椭圆形的轴，而V是其方向。矩阵U是A中每个点到轴上的投影。