线性判别分析 (LDA)中目标函数对S_w进行奇异值分解的说明

公式 5-6 中，使用的是奇异值分解（SVD，Singular Value Decomposition）。矩阵的奇异值分解可以表示为：
$$S_w=U\Sigma V^T$$

其中：

• $S_w$ 是类内散度矩阵。
• $U$ 和 $V^T$ 是正交矩阵。它们分别表示矩阵 $S_w$ 的左奇异向量和右奇异向量。
• $\Sigma$ 是一个对角矩阵，对角线上是矩阵 $S_w$ 的奇异值。

公式 5-6 的推导过程：

1. 奇异值分解的概念：

奇异值分解 (SVD) 是一种将任意矩阵表示为三个矩阵乘积的方法。对于任意矩阵 $S_w$，它可以分解为：
$$S_w=U\Sigma V^T$$

其中：

• $U$ 是一个 $m\times m$ 的正交矩阵，包含左奇异向量（即矩阵的列向量）。
• $V$ 是一个 $n\times n$ 的正交矩阵，包含右奇异向量。
• $\Sigma$ 是一个 $m\times n$ 的对角矩阵，其对角线上的元素是矩阵的奇异值，而这些奇异值是非负的数。

2. 求解逆矩阵：

在 LDA 中，我们经常需要求解类内散度矩阵的逆矩阵 $S_w^{-1}$。通过奇异值分解，矩阵 $S_w$ 分解为 $S_w=U\Sigma V^T$ 形式后，矩阵的逆可以通过奇异值的逆来求得。

矩阵的逆表示为：
$$S_w^{-1}=V{\Sigma }^{-1}{U}^T$$

其中：

• ${\Sigma }^{-1}$ 是对角矩阵 $\Sigma$ 的逆矩阵，它的对角线元素是 $\Sigma$ 对应元素的倒数（即奇异值的倒数）。
• $U$ 和 $V^T$ 是奇异值分解的左奇异向量和右奇异向量。

3. 逆矩阵的具体形式：

通过奇异值分解，矩阵的逆矩阵可以通过以下公式表示：
$$S_w^{-1}=V{\Sigma }^{-1}{U}^T$$

这个形式通过对角矩阵的奇异值取倒数来求得逆矩阵。这是广泛应用于矩阵运算中的一种方法，尤其是在数值稳定性和计算精度要求较高的情况下。

4. 公式 5-6 的推导总结：

• 奇异值分解（SVD）：通过奇异值分解，将矩阵 $S_w$ 分解为 $U\Sigma V^T$ 的形式。
• 矩阵的逆：通过对 $\Sigma$ 中的奇异值取倒数，可以求得矩阵的逆 $S_w^{-1}=V{\Sigma }^{-1}{U}^T$。
• 在 LDA 中的应用：这一步用于求解类内散度矩阵的逆矩阵，帮助找到最优的投影方向 $w$，从而完成 LDA 的判别分析。

公式的意义：

• $U$ 和 $V$ 是正交矩阵，它们分别代表矩阵的奇异向量方向。
• $\Sigma$ 是矩阵的奇异值，它与矩阵的特征值相关，用于描述矩阵的伸缩效应。
• 通过奇异值分解，我们能够高效地求解逆矩阵，在应用中具有良好的数值稳定性。