广义瑞利商_瑞利商定义和广义瑞利商

最近在学习LDA，公式推导中很重要的部分就是瑞利商和广义瑞利商。

瑞利商定义

瑞利商函数是指这样的函数𝑅(𝐴,𝑥)

R(A,x)=XHAxXHxR(A,x) = \frac{X^{H}Ax}{X^{H}x}

R(A,x)=​X​H​​x​​X​H​​Ax​​

其中𝐴为𝑛×𝑛的Hermitan矩阵。Hermitan矩阵，就是满足共轭转置矩阵和自己相等的矩阵，AH=AA^{H}=AA​H​​=A。XHX^{H}X​H​​是XXX的共轭转置矩阵。

共轭转置矩阵

矩阵有实数矩阵和复数矩阵。

转置矩阵仅仅是将矩阵的行与列对换

共轭转置矩阵在将行与列对换后还要讲每个元素共轭一下。

共轭就是将形如a+bi的数变成a-bi，实数的共轭是它本身。

所以，实数矩阵的共轭转置矩阵就是转置矩阵，复数矩阵的共轭转置矩阵就是上面所说的行列互换后每个元素取共轭

瑞利商的性质

瑞利商𝑅(𝐴,𝑥)有一个非常重要的性质，即它的最大值等于矩阵𝐴最大的特征值，而最小值等于矩阵𝐴的最小的特征值，也就是满足

λmin≤XHAxXHx≤λmax\lambda_{min} \leq \frac{X^{H}Ax}{X^{H}x} \leq \lambda_{max}

λ​min​​≤​X​H​​x​​X​H​​Ax​​≤λ​max​​

当向量𝑥是标准正交基时，即满足XHx=1X^{H}x=1X​H​​x=1时，瑞利商退化为：R(A,