奇异值分解(SVD)小结

最新推荐文章于 2024-08-13 19:12:47 发布

Hearthougan

最新推荐文章于 2024-08-13 19:12:47 发布

阅读量2.4k

点赞数 4

分类专栏： Machine Learning Deep Learning NLP 文章标签：奇异值分解 SVD

本文链接：https://blog.csdn.net/Hearthougan/article/details/81672611

版权

本文介绍了奇异值分解(SVD)的概念，包括矩阵的作用、特征值与特征向量、Hermitian矩阵和酉矩阵。重点讲解了SVD在处理非方阵时的重要性，以及在数据降维和噪声消除中的应用。同时，文中还纠正了《数学之美》中关于SVD理解的某些错误，并解释了SVD在新闻分类和文本分析中的作用。

摘要由CSDN通过智能技术生成

阵的简单理解

矩阵从我的理解来看，可以从两个角度来看。一个是矩阵是作用于向量，一个是矩阵表达一个实体。

矩阵作用于向量

对于线性空间中，对向量的变换就是通过矩阵对向量的作用来实现的，矩阵本身就表示着一种变换。假设目前所讨论的矩阵是非奇异的 $n$ 阶方阵。对矩阵对向量的变换，可以从两个不同的角度来看：一、从同一个坐标系来看，矩阵对向量的变换就是伸缩或者旋转。二、同一个向量，在不同坐标系下的度量。比如：

Ax = b

1、从第一个角度来看就是，向量 $x$ 经过矩阵的作用变成了向量 $b$ ，矩阵表示一种运行方式。

2、从第二个角度来看就是，那么矩阵就表示着一个坐标系（因为非奇异，故矩阵是有 $n$ 个线性无关的向量组成）， $x$ 就是在坐标系下的一个度量结果，只不过这里的矩阵不一定是单位矩阵，所以坐标轴上度量单位不一定是单位1。而向量 $b$ 是单位矩阵 $I$ 所表示的坐标系下的度量结果。即：

由上式可以看的出，一个向量，他在坐标系中的表示结果是向量 $x$ ，它在坐标系 $I$ 中的表示结果是向量 $b$ ，这表明什么？向量x和向量b，表示的是同一个向量，只不过是在不同的坐标系下，每个向量的度量结果不一样而已，即表现形式不同，但本质是一个东西。

我们知道一个向量在不同基下的坐标是不一样的，即向量在不同空间的测量结果是不一样的。如果举一个不恰当的例子，比如水，在零度以下是冰，在100度以上是水蒸气，你可以这样理解，水在0度的环境下的表现形式是冰，在100度的环境下的表现形式是水蒸气，他们只不过存在形式不同，但都是 $H_{2}O$ 。那么矩阵是不是也可以看成向量所处的环境呢？（我们目前都是假设矩阵是非奇异的），我想是可以的。无论是把矩阵看成是向量所处环境也好，还是看成空间坐标系也好，不可否认的是，矩阵包含着度量的能力，他可以表达一种空间信息，此时矩阵表示一种度量方式。

由此矩阵作用于向量或者矩阵，可以把矩阵看成是动态的形式。

用矩阵的表达一个实体

一副图像在计算时，它是以一个矩阵的形式表达的；在NLP中，文本与词的关系，也是以矩阵的形式存在的。此时矩阵表达一个具体的事物，此时矩阵就是一种静态的表示结果。

啰里啰嗦了那么多，就是为了加深理解矩阵的意义，矩阵在不同的情况下，其作用是不一样的。

特征值和特征向量

如果是n阶方阵，如果存在一个非零的常数 $\lambda$ 和一个n维的向量 $v$ 使得： $Av = \lambda v$ ,则称 $\lambda$ 是矩阵的特征值， $v$ 就是其对应的特征向量。翻译成白话就是：如果矩阵使得一个向量伸缩，那么该向量就是矩阵的一个特征向量，伸缩的尺度就是特征值。

如果你觉得矩阵表达运动时比较好理解，那么特征向量就是，各个分运动的方向，对应的特征值，就是运动的距离。如果你觉得矩阵作为表达实体时比较好理解，那么特征向量，就是该实体的某一特征，对应的特征值就是该特征的重要程度。

尤其是矩阵表达一个实体时，矩阵的特征分解显得尤为重要，因为此时的矩阵往往是稀疏的，维度比较大的，在存储或者计算时会浪费很多资源，此时特征值和特征向量的作用就显得尤为重要了，我们可以选择几个特征值最大的向量，就可以表达该实体，这样就可以对原来的矩阵起到了很好的降维作用，而且可以消除很多噪声。可以参考这个例子。

奇异值分解

之前说的方阵都是n阶方阵，那么对于机器学习中很多时候面对的矩阵都是 $m\times n$ 的，这个时候，我们也想跟方阵一样找出对应的特征值和特征向量，那么有什么方法？答案就是奇异值分解，此时的奇异值就是对应n阶方阵的特征值，只不过此时不再称呼特征值和特征向量了，因为解法不同以及分解出来的矩阵表达的意义也不同。在说奇异值分解之前，先交代两个概念。Herm