PCA-Rayleigh商和特征值

关于Rayleigh商和特征值之间关系的数学公式

这些公式在矩阵分析和线性代数中是非常重要的概念。

首先，解释一下这些公式的意义：

• ${\lambda }_{\min }(A)$ 和 ${\lambda }_{\max }(A)$ 分别表示矩阵 $A$ 的最小和最大特征值。
• $x^{T}Ax$ 是一个二次型，它描述了向量 $x$ 在矩阵 $A$ 作用下的变化情况。
• Rayleigh商 $\frac{x^{T}Ax}{x^{T}x}$ 可以看作是向量 $x$ 在矩阵 $A$ 作用下所得到的“能量”与向量 $x$ 自身的“能量”的比值。

现在，我们来证明这些公式：

1. 首先，我们可以证明 ${\lambda }_{\min }(A)\le \frac{x^{T}Ax}{x^{T}x}\le {\lambda }_{\max }(A)$ 对于所有非零向量 $x$ 成立。

证明：设 ${\lambda }_1,{\lambda }_2,\dots ,{\lambda }_n$ 是矩阵 $A$ 的所有特征值。那么，对于任意非零向量 $x$，存在某个特征值 ${\lambda }_i$ 使得 $x$ 是 ${\lambda }_i$ 的特征向量，即 $Ax={\lambda }_{i}x$。因此，

$$\frac{x^{T}Ax}{x^{T}x}=\frac{x^T({\lambda }_{i}x)}{x^{T}x}={\lambda }_i.$$

由于 ${\lambda }_i$ 是矩阵 $A$ 的特征值，所以有 λ min ⁡ ( A ) ≤ λ i ≤ λ