【线性代数】矩阵的特征分解、特征值和特征向量(eigen-decomposition, eigen-value & eigen-vector)

就像我们可以通过质因数分解来发现整数的一些内在性质一样(12 = 2 x 2 x 3)，我们也可以通过分解矩阵来发现表示成数组元素时不明显的函数性质。

矩阵分解有种方式，常见的有

• 特征分解
• SVD 分解
• 三角分解

特征分解

特征分解是使用最广泛的矩阵分解之一，即我们将矩阵分解成一组特征向量和特征值。方阵 $\bf A$ 的特征向量(eigen vector)是指一个非零向量 $v$，这个向量与 $\bf A$相乘后相当于对该向量进行放缩变换– 方向不变，只是大小成倍数的缩放：

$$\bf {A} \mathcal v = \lambda \mathcal v$$ , 标量 $\lambda$ 被称为这个特征向量对应的特征值。更准确的说，这里的 $v$ 是 右奇异向量 (right singular vector), 相应的我们也可以定义 左奇异向量(left singular vector) $v^T \bf A = \lambda \mathcal v^T$ 。

如果 $v$ 是 $\bf A$的特征向量，那么任何缩放后的 $sv(s \in \mathbb R, s \neq 0)$, 也是