人工智能数学基础知识复习（二）——特征分解与奇异值分解（SVD）

今天我们复习一下线性代数中的矩阵特征分解与奇异值分解。本文将结合几何的角度来阐述这两个概念。

一、特征值与特征分解

假设我们现在有一个对角矩阵为：

将该矩阵作用于列向量，则可以得到：

从几何的角度，上式可以看做在平面上取一个点(x, y)并使用矩阵乘法将其变换为另外一个点。我们可以用下图表示上述变换：

由图中可以看出矩阵M使该平面在横轴方向变大了3倍，纵轴方向保持不变。

如果矩阵M换作下式是什么情况呢？

变换的效果会像下面这张图一样：

上面的图可能不是很直观，让我们把图片中的网格向左旋转45度观察：

现在，我们能够很明显地看到，M矩阵将向量在一个方向上拉伸了3倍，在另外一个方向上保持不变。在2*2对称矩阵作用下的结果，我们一般都需要通过旋转网格来观察。这样的矩阵一般会使原向量在其两个方向上产生拉伸或者反射，也就是说它对向量的作用和对角矩阵类似。

现在，我们来具体地看特征值和特征向量。

假设我们有一个对称矩阵M，那么我们可以找到一组正交向量使得