拉格朗日乘子_PCA----正交约束下拉格朗日求极值？最值？的困惑与解析

在学习迁移学习的过程中，一些如PCA, KPCA, TCA, JDA等经典的浅层模型的学习都是必不可少的。这一类方法大多都是基于矩阵优化(matrix optimization)，其目标函数基本可以概括为一个矩阵函数的迹，同时满足一定的正交约束。在求最值时

，我们一般都利用拉格朗日求极值。

极值不等价于最值。but在很多文献中，都出现极值组合一定是最值的结论：最大的极值点组合-->最大值，最小的极值点组合-->最小值

这个问题让我一直都很困惑。针对这个问题，本人主要参考以下文献解决了这个问题

董祖引, 周继东《二次型极值及其推广的几个结论》

问题的形式

以最为简单的PCA为例，其优化问题的数学表达如下:

其中

，

是我们要求的降维变换。

其拉格朗日函数为：

根据约束条件，拉格朗日乘子可表示为：

对

求导，我们可以很容易的得到结论：

的极值点，对应