奇异值笔记

回到基本力学,我们知道,任何力矢量都可以沿x和y轴分解成其分量:
在这里插入图片描述
SVD就是将向量分解到正交轴上而已,让我们来看看具体是如何实现的:
当向量(a)分解时,我们得到3条信息:
在这里插入图片描述
投影方向-表示我们投影(分解)的方向的单位矢量(v 1和v 2)。 在上面,它们是x和y轴,但可以是任何其他正交轴。

投影的长度(线段sₐ₁和sₐ2)-告诉我们在每个投影方向上包含多少矢量(矢量a的方向比v 2倾斜的方向多于v,因此sₐ>sₐ2) 。

投影向量(pₐ₁和pₐ22)-用于通过将原始向量a相加(作为向量和)来重建原始向量a,并且很容易验证pₐ₁=sₐ₁v₁和pₐ_2=sₐ2 v22- 因此它们是多余的,因为它们可以从前两个部分推导出来。

总的来说:
任何向量都可以表示为:
1.投影方向单位矢量(v 1,v 2,…)。
2.投影到它们的长度(sₐ₁,sₐ2,…)。

SVD所做的所有事情就是将这一结论扩展到多个向量(或点)以及所有维度上:
在这里插入图片描述
如何处理这个混乱

如果不先处理单个向量,我们将无法处理混乱的局面!

如果您查看许多在数学上所做的归纳,您会发现它们主要利用矩阵。

因此,我们必须找到一种方法来表达使用矩阵进行向量分解的操作。

事实证明,这样做很自然:
在这里插入图片描述

我们要沿着单位向量v 1和v 2分解(投影)向量a。
我们已经知道投影是由点积完成的-它为我们提供了投影的长度(sₐ₁和sₐ2):
在这里插入图片描述
但这是多余的。 我们可以利用矩阵的效率…
在这里插入图片描述
或者添加更多的点:
在这里插入图片描述
那么结果就像这样:
在这里插入图片描述
现在可以很容易地概括为任意数量的点和尺寸:
在这里插入图片描述
下面用gif表示更加生动:
在这里插入图片描述
在这里插入图片描述
这等价于:
在这里插入图片描述
SVD所说的就是这些(记住关键结论):

可以根据它们在某些正交轴(V)上的投影长度(S)来表示任何一组向量(A)。

但是,我们还要继续。 常规SVD公式表示【公式1】:
在这里插入图片描述


A是一个m×n矩阵
U是一个m×n正交矩阵
S是一个n×n对角矩阵
V是n×n正交矩阵

最后一个矩阵被转置的原因将在以后的讨论中变得很清楚。 另外,将定义术语“正交”(以防您的代数变得有点生锈),并阐明两个外部矩阵具有此属性的原因。

目前,我们假设m≥n。 当我认为不正确时会发生什么,这很有趣,并且是理解奇异值分解的关键之一。

这已经变得非常复杂,因此我将使用求和符号重写方程式(1)。 每当遇到矩阵方程式问题时,这都是我继续进行的方法。 在这种情况下,虽然它没有使任何事情变得简单,但确实使所有事情都变得明确:
在这里插入图片描述
请注意,我们是如何将对角矩阵S折叠为向量的,从而将表达式简化为单个求和。 变量{sᵢ}称为奇异值,通常按从大到小的顺序排列:
在这里插入图片描述
U的列称为左奇异向量,而V的列称为右奇异向量。
我们知道U和V是正交的,即:
在这里插入图片描述

I 是单位矩阵。 仅单位矩阵的对角线为1,其他所有值均为0。请注意,由于U不是square,我们不能说U Transpose(U)= I,所以U仅在一个方向上正交。

使用正交性,我们可以将【公式1】重新排列为以下特征值方程对:
在这里插入图片描述
数值程序
由于Transpose(A)A的大小等于或小于A Transpose(A)的大小,因此典型的过程是将等式(3)插入特征值计算器中以找到V和S²,然后将A投影到V上来找到U:
在这里插入图片描述

(4)
注意,该方法是完全对称的。 当换位A时,U和V改变位置:
在这里插入图片描述
因此,如果m <n,我们可以转置A,执行分解,然后交换U和V的角色。
在这种情况下,U将是一个m×m的方矩阵,因为最多可以有m个非零的奇异值,而V将是n×m的矩阵。

以上只是干燥的技术说明。它不能使我们直观地了解该方法的作用。因此,让我们想象一下二维最简单的示例。它很自然地推广到更高的维度。
假设我们有两个二维矢量,x 1 =(x 1,y 2),x 2 =(x 2,y 2)。如图所示,我们可以将具有长轴a和短轴b的椭圆拟合到这两个向量。但是为了使事情变得更轻松并节省类型,我们使用矩阵代数写出方程式。
我们可以通过拉伸和旋转单位圆来构造任何大小和方向的椭圆。
令x’=(x’,y’)为转换后的坐标:
在这里插入图片描述
其中R是旋转矩阵:
在这里插入图片描述

M是包含长轴和短轴的对角矩阵:

在这里插入图片描述
在一般情况下,让我们逐期写出:
在这里插入图片描述

其中mᵢ是矩阵M的第i个对角线,对于二维情况:
在这里插入图片描述

请注意,旋转是顺时针方向,与通常意义相反,因为我们是从未变换的坐标系转到变换的坐标系,而不是相反。对于产生的椭圆,角度将是通常的逆时针方向。
单位圆的等式如下:
在这里插入图片描述
我们希望拟合一组x,我们将它们收集为矩阵X的行:
在这里插入图片描述
(5)
给出的矩阵方程为:
在这里插入图片描述
这只是等式(3)的重排。如果我们将A视为点的集合,则奇异值是最小二乘拟合椭圆形的轴,而V是其方向。矩阵U是A中每个点到轴上的投影。

展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 技术工厂 设计师: CSDN官方博客
应支付0元
点击重新获取
扫码支付

支付成功即可阅读