拉格朗日乘子法 - Lagrange multiplier

拉格朗日乘子法：

因为在学习噪声协方差未知时的极大似然估计算法需要用到。故把该算法的简略步骤贴出。

想要了解更多详细的信息，本文末贴出了两个网站。

拉格朗日乘子法是用来解决在等式限制条件下的最值问题，如下式所示：

构造一个拉格朗日函数：

通过求解：

即：

拉格朗日乘子式的解不都是最优解，我们需要验证每个解所对应的值是否是最值。第三个式子： 即 。

将前任意两个式子带入第三个式子就能得到解。

拉格朗日乘子法的例子和原理请参考一下：

拉格朗日乘数：

http://zh.wikipedia.org/wiki/%E6%8B%89%E6%A0%BC%E6%9C%97%E6%97%A5%E4%B9%98%E6%95%B0

An Introduction to Lagrange Multipliers：

http://www.slimy.com/~steuard/teaching/tutorials/Lagrange.html