807补充（五）（拉格朗日乘子篇）

807补充（五）（拉格朗日乘子篇）

一.拉格朗日的几何解释

拉格朗日乘数法（Lagrange multiplier）, 有时也被称为不确定乘数法（undetermined multiplier）, 被用于寻找多元变量在一个或者多个限制条件下的驻点。
考虑寻找函数 $f\left(x_1,x_2\right)$ 的最大值, 其中 $x_1$ 和 $x_2$ 要满足一定的限制, 限制的形式为
$$g\left(x_1,x_2\right)=0\text{\hspace{1em}(1.1)}$$

一种方法是求解限制方程 , 把 $x_2$ 表示为 $x_1$ 的函数, 形式为 $x_2=h\left(x_1\right)$ 。这之后就可以代入 $f\left(x_1,x_2\right)$, 变为关于 $x_1$ 单一变量的函数, 形式为 $f\left(x_1,h\left(x_1\right)\right)$ 。关于 $x_1$ 的最大值能够使用通常的方法用微分的方式求出, 给出驻点值 $x_1^{\ast }$, 对应的 $x_2$ 的值为 $x_2^{\ast }=h\left(x_1^{\ast }\right)$ 。

这种方法的一个问题是, 把 $x_2$ 显式地表示为 $x_1$ 的函数, 即找到限制方程的解析解很困难。并且, 这种方法把 $x_1$ 和 $x_2$ 区别对待, 这破坏了这些变量之间自然存在的对称性。

一个更加优雅且通常很简单的方法依赖于引入一个被称为拉格朗日乘数的参数 $\lambda$ 。我们从几何角度来说明一下这个方法。考虑一个 $D$ 维变量 $\mathbf{x}$, 分量为 $x_1,\dots ,x_D$ 。限制方程 $g(\mathbf{x})=0$ 表示 $\mathbf{x}$ 空间中的一个 $(D-1)$ 维曲面, 如图所示。

我们首先注意到, 在限制曲面上的任何点处, 限制函数的梯度 $\nabla g(\mathbf{x})$ 都正交于限制曲面。为了证明这一点, 考虑一个位于限制曲面上的点 $x$ 以及这个点附近同样位于曲面上的点 $x+ϵ$ 。如果我们在点 $\mathbf{x}$ 处进行泰勒展开, 那么我们有
$$g(\mathbf{x}+\mathbf{ϵ})\simeq g(\mathbf{x})+{\mathbf{ϵ}}^T\nabla g(\mathbf{x})\text{\hspace{1em}(1.2)}$$

由于 $\mathbf{x}$ 和 $\mathbf{x}+\mathbf{ϵ}$ 都位于限制曲面上, 我们有 $g(\mathbf{x})=g(\mathbf{x}+\mathbf{ϵ})$, 因此 ${\mathbf{ϵ}}^T\nabla g(\mathbf{x})\simeq 0$ 。在极限 $\Vert \mathbf{ϵ}\Vert \to 0$ 的情况下, 我们有 ${\mathbf{ϵ}}^T\nabla g(\mathbf{x})=0$ 。由于 $\mathbf{ϵ}$ 平行于限制曲面, 因此我们看到向量 $\nabla g$ 正交于曲面。

接下来我们寻找限制曲面上的一个点 $x^{\ast }$ 使得 $f(\mathbf{x})$ 最大。这样的一个点一定满足这样的性质: 向量 $\nabla f(\mathbf{x})$ 也正交于限制曲面, 如图所示, 因为如果这个性质不满足的话, 我们就可以沿着限制曲面移动一个较短的距离来使 $f(\mathbf{x})$ 增大($f(\mathbf{x})$的梯度指向增长最快的方向)。因此 $\nabla f$ 和 $\nabla g$ 是平行的（或者反平行的）向量, 因此一定存在一个参数 $\lambda$ 使得
$$\nabla f+\lambda \nabla g=0$$

其中 $\lambda \ne 0$ 被称为拉格朗日乘数 (Lagrange multiplier) 。注意, $\lambda$ 的符号任意。
这里, 定义一个拉格朗日函数比较方便。拉格朗日函数定义如下
$$L(\mathbf{x},\lambda )\equiv f(\mathbf{x})+\lambda g(\mathbf{x})\text{\hspace{1em}(1.3)}$$

公式 (1.3) 给出的函数驻点处的条件可以通过令 ${\nabla }_{\mathbf{x}}L=0$ 来得到。更进一步, 条件 $\frac{\partial L}{\partial \lambda }=0$ 会导出限制方程 $g(\mathbf{x})=0$ 。

易知拉格朗日乘数法求得的只是极值必要条件，具体是极大值还是极小值取决于$\nabla g$的方向（指向约束面内还是约束面外）

将拉格朗⽇乘数法推⼴到多个等式限制的情形是很直接的，推⼴到有限制条件下的泛函的导数的情况也与此类似。

二.矩阵形式的拉格朗日

考虑最优化问题(${\mathbf{S}}_w+{\mathbf{S}}_b$是正定矩阵，且都为实对称矩阵，$\mathbf{W}=[{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_d],{\mathbf{w}}_i\in {\mathbb{R}}^m$)
$$\begin{array}{rl}& \text{maxmize}\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})\\ & s.t{\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}=\mathbf{I}\end{array}$$
先对目标函数进行简单的分析，对目标函数求二阶导
$${\nabla }^2(\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W}))=\mathbf{I}\otimes ({\mathbf{S}}_w+{\mathbf{S}}_b)\succ 0$$
即目标函数二阶导恒正定，目标函数无最大值只有最小值(可以类比$y=x^2$)，因此为求得目标函数最大值需要加上限制条件。（最后的解完全取决于限制条件，限制不同则解不同）

限制条件为
$$\begin{gathered} {\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}=\mathbf{I} \\ \Updownarrow \\ [{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_d{]}^T{\mathbf{S}}_w[{\mathbf{w}}_1,{\mathbf{w}}_2,\cdots ,{\mathbf{w}}_d]=\left[\begin{array}{ccc}1& 0\cdots & 0\\ ⋮& ⋮& ⋮\\ 0& 0\cdots & 1\end{array}\right] \\ \Updownarrow \\ \forall i\ne j,{\mathbf{w}}_i^T{\mathbf{S}}_w{\mathbf{w}}_j=0 \\ \forall i=j,{\mathbf{w}}_i^T{\mathbf{S}}_w{\mathbf{w}}_j=1 \end{gathered}$$
因此拉格朗日函数为
$$\begin{gathered} L=\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})+\sum _i{\lambda }_i({\mathbf{w}}_i^T{\mathbf{S}}_w{\mathbf{w}}_i-1)+\sum _{i\ne j}{\lambda }_{i,j}({\mathbf{w}}_i^T{\mathbf{S}}_w{\mathbf{w}}_j) \\ \Updownarrow \\ \text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})+\text{tr}(\Lambda ({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{I})) \end{gathered}$$
其中$\Lambda$对角线的元素是${\mathbf{w}}_i{\mathbf{S}}_w{\mathbf{w}}_j=1$对应的拉格朗日乘子，非对角线元素是${\mathbf{w}}_i{\mathbf{S}}_w{\mathbf{w}}_j=0$对应的拉格朗日乘子。又因拉格朗日乘子不能为0，则$\Lambda$中不能有0元素。

上式可以推广至任意矩阵的情况，证明与单位矩阵一样，即
$$\begin{array}{rl}& \text{maxmize}\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})\\ & s.t{\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}=\mathbf{A}\end{array}$$
的拉格朗日函数为
$$\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})+\text{tr}(\Lambda ({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{A}))$$

三.约束的求解

$$\begin{array}{rl}& \text{maxmize}\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})\\ & s.t{\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}=\mathbf{I}\end{array}$$

$$L=\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})-\text{tr}(\Lambda ({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{I}))$$

$$\frac{\partial L}{\partial \mathbf{W}}=2({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W}-{\mathbf{S}}_w\mathbf{W}({\mathbf{\Lambda }}^T+\mathbf{\Lambda })=0$$

记$({\mathbf{\Lambda }}^T+\mathbf{\Lambda })/2=\hat{\Lambda }$,知$\hat{\Lambda }$是是对称矩阵可正交对角化则
$$\begin{array}{rl}({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W}& ={\mathbf{S}}_w\mathbf{W}\hat{\Lambda }\\ & ={\mathbf{S}}_w\mathbf{W}{\mathbf{Q}}^T\Sigma \mathbf{Q}\\ \Updownarrow & \\ (\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b)\mathbf{W}{\mathbf{Q}}^T& =\mathbf{W}{\mathbf{Q}}^T\Sigma \end{array}$$
令$\hat{\mathbf{W}}=\mathbf{W}{\mathbf{Q}}^T$,则
$$\begin{gathered} (\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b)\hat{\mathbf{W}}=\hat{\mathbf{W}}\Sigma \\ \Updownarrow \\ (\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b)[{\hat{\mathbf{w}}}_1,{\hat{\mathbf{w}}}_2,\cdots ,{\hat{\mathbf{w}}}_{\mathbf{d}}]=[{\hat{\mathbf{w}}}_1,{\hat{\mathbf{w}}}_2,\cdots ,{\hat{\mathbf{w}}}_{\mathbf{d}}]\text{diag}({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_d) \\ \Updownarrow \\ [(\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b){\hat{\mathbf{w}}}_1,(\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b){\hat{\mathbf{w}}}_2,\cdots ,(\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b){\hat{\mathbf{w}}}_{\mathbf{d}}]=[{\lambda }_1{\hat{\mathbf{w}}}_1,{\lambda }_2{\hat{\mathbf{w}}}_2,\cdots ,{\lambda }_d{\hat{\mathbf{w}}}_{\mathbf{d}}] \end{gathered}$$
即$\Sigma$是由$\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b$特征值组成的矩阵，$\hat{\mathbf{W}}$是由${\mathbf{S}}_w^{-1}{\mathbf{S}}_b$特征向量组成的矩阵，将$\mathbf{W}=\hat{\mathbf{W}}\mathbf{Q}$带入目标函数中。
$$\begin{array}{rl}\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})& =\text{tr}({\mathbf{Q}}^T{\hat{\mathbf{W}}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\hat{\mathbf{W}}\mathbf{Q})\\ & =\text{tr}({\hat{\mathbf{W}}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\hat{\mathbf{W}})\\ & =\text{tr}({\hat{\mathbf{W}}}^T{\mathbf{S}}_w(\mathbf{I}+{\mathbf{S}}_w^{-1}{\mathbf{S}}_b)\hat{\mathbf{W}})\\ & =\text{tr}({\hat{\mathbf{W}}}^T{\mathbf{S}}_w\hat{\mathbf{W}}\mathbf{\Sigma })\end{array}$$
又因
$${\hat{\mathbf{W}}}^T{\mathbf{S}}_w\hat{\mathbf{W}}={\mathbf{Q}}^T\mathbf{W}{\mathbf{S}}_w\mathbf{W}\mathbf{Q}={\mathbf{Q}}^T\mathbf{Q}=\mathbf{I}$$
所以
$$\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})=\text{tr}(\mathbf{\Sigma })=\sum _i^d{\lambda }_i(与\mathbf{Q}无关)$$ {=}
所以想要使得目标函数最大化，应选前d个最大的特征向量组成的矩阵构成$\hat{\mathbf{W}}$且$\hat{\mathbf{W}}$需关于${\mathbf{S}}_w$正交,此时得出的解为$\mathbf{W}=\hat{\mathbf{W}}\mathbf{Q}$,$\mathbf{Q}$为任意一正交矩阵。

四.拉格朗日乘子为对角矩阵

因$\mathbf{Q}$为任意一正交矩阵，不妨设$\mathbf{Q}=\mathbf{I}$即拉格朗日乘子$\mathbf{\Lambda }$本身就为对角矩阵。

此时拉格朗日乘子非对角线元素为0，即有一部分约束失效，真正有效的约束仅有对角线元素。优化问题可以写为
$$\begin{array}{rl}& \text{maxmize}\text{tr}({\mathbf{W}}^T({\mathbf{S}}_w+{\mathbf{S}}_b)\mathbf{W})\\ & s.t\forall i,{\mathbf{w}}_i^T{\mathbf{S}}_w{\mathbf{w}}_i=1\end{array}$$
可以看出对于不同的${\mathbf{w}}_i$关于${\mathbf{S}}_w$彼此正交的约束并未生效。

所以为使这两个解等价，应选取使${\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}=\mathbf{I}$成立的特征向量（同一特征值对应的特征向量不唯一）

最后再来考虑特征值为0的情况，则拉格朗日乘子$\mathbf{\Lambda }$中有元素为0，代表此约束失效，所以特征值0的特征向量无法被选中

五.写在最后

考虑是否能将高维约束转化为低维的等价表示，考虑以下恒等式
$$\begin{gathered} \text{tr}({\mathbf{A}}^T\mathbf{A})=\text{vec}(\mathbf{A}{)}^T\text{vec}(\mathbf{A})=0 \\ \Updownarrow \\ \mathbf{A}=0 \end{gathered}$$
于是高维约束可写为
$$\begin{gathered} {\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{I}=0 \\ \Updownarrow \\ \text{tr}(({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{I}{)}^T({\mathbf{W}}^T{\mathbf{S}}_w\mathbf{W}-\mathbf{I}))=0 \end{gathered}$$
将约束与目标函数统一至同一纬度，再使用拉格朗日乘子法（最后的解不知道为什么我解不出来）