拉格朗日乘数法

证明：$f(\mathbf{x})={\mathbf{x}}^{\text{T}}\mathbf{\Psi }\mathbf{x}$在$|\mathbf{x}|=1$上的最大、最小值分别为$\mathbf{\Psi }$的最大、最小特征值。

$\mathbf{x}$为$n$维列向量，$\mathbf{\Psi }$为$n$维对称矩阵。

---

设$\mathbf{x}=[x_1,x_2,\cdots ,x_n{]}^{\text{T}}$，${\mathbf{e}}_i$为第$i$个元素为$1$、其余元素为$0$的列向量。$f(\mathbf{x})$求偏导，得

$$\begin{array}{rl}\frac{\partial }{\partial x_i}f(\mathbf{x})& =\left(\frac{\partial }{\partial x_i}{\mathbf{x}}^{\text{T}}\right)\mathbf{\Psi }\mathbf{x}+{\mathbf{x}}^{\text{T}}\mathbf{\Psi }\left(\frac{\partial }{\partial x_i}\mathbf{x}\right)\\ & ={\mathbf{e}}_i^{\text{T}}\mathbf{\Psi }\mathbf{x}+{\mathbf{x}}^{\text{T}}\mathbf{\Psi }{\mathbf{e}}_i\\ & =2{\mathbf{e}}_i^{\text{T}}\mathbf{\Psi }\mathbf{x}\end{array}$$

构造拉格朗日函数$L(\mathbf{x},\lambda )=f(\mathbf{x})-\lambda (|\mathbf{x}{|}^2-1)$。$L(\mathbf{x},\lambda )$求偏导，得

$$\frac{\partial }{\partial x_i}L(\mathbf{x},\lambda )=\frac{\partial }{\partial x_i}f(\mathbf{x})-\lambda \cdot 2x_i=2({\mathbf{e}}_i^{\text{T}}\mathbf{\Psi }\mathbf{x}-\lambda x_i)$$

由于${\mathbf{e}}_i^{\text{T}}\mathbf{\Psi }$为$\mathbf{\Psi }$的第$i$行，有

$$\frac{1}{2}\left[\begin{array}{c}\frac{\partial }{\partial x_1}L(\mathbf{x},\lambda )\\ \frac{\partial }{\partial x_2}L(\mathbf{x},\lambda )\\ ⋮\\ \frac{\partial }{\partial x_n}L(\mathbf{x},\lambda )\end{array}\right]=\left[\begin{array}{c}{\mathbf{e}}_1^{\text{T}}\mathbf{\Psi }\\ {\mathbf{e}}_2^{\text{T}}\mathbf{\Psi }\\ ⋮\\ {\mathbf{e}}_n^{\text{T}}\mathbf{\Psi }\end{array}\right]\mathbf{x}-\lambda \left[\begin{array}{c}{x}_1\\ x_2\\ ⋮\\ x_n\end{array}\right]=(\mathbf{\Psi }-\lambda \mathbf{E})\mathbf{x}$$

因此$f(\mathbf{x})$在$\mathbf{x}$处取得最值的必要条件为

$$(\mathbf{\Psi }-\lambda \mathbf{E})\mathbf{x}=0$$

若$|\mathbf{\Psi }-\lambda \mathbf{E}|\ne 0$，上式有唯一解$\mathbf{x}=0$，与$|\mathbf{x}|=1$不符。所以$|\mathbf{\Psi }-\lambda \mathbf{E}|=0$，即$\lambda$为$\mathbf{\Psi }$的特征值，且$\mathbf{x}$为$\lambda$对应的单位特征向量。因此

$$f(\mathbf{x})={\mathbf{x}}^{\text{T}}\mathbf{\Psi }\mathbf{x}={\mathbf{x}}^{\text{T}}\lambda \mathbf{x}=\lambda |\mathbf{x}{|}^2=\lambda$$

故$\mathbf{\Psi }$的所有特征值都是$f(\mathbf{x})$的取值，且包含$f(\mathbf{x})$的最值。因此$f(\mathbf{x})$的最值就是$\mathbf{\Psi }$的特征值的最值。