关于朗格朗日乘子

   看了"Some Notes on Applied Mathmatics for Machine Learning"中关于拉格朗日的部分，把其中比较重要的部分记在这里

   拉格朗日乘子发主要用于解决受限优化问题（constrained optimization），而限制常用C来表示，如Ci(x) = 0;下面分一等式限制，多等式限制，不等式限制介绍拉格朗日，最后给出几个朗格朗日的例子

1.    1等式限制

1等式限制时，假设目标为：minf(x); C(x) = 0; 问题的解的条件是 f 的梯度和 C（x） = 0 的梯度平行，即，其中lamda是拉格朗日乘子，在一些问题中，lamda的值并不被计算，所以也叫不确定拉个朗日乘子。关于< f 的梯度和 C（x） = 0 的梯度平行>的几何意义可以看下面这个图

  

2 多等式限制 

   多等式限制时，问题的解的条件是 f 的梯度的任一唯的分量都不能与 任意一个限制垂直， 否则 x 的这个分量可以在这个限制的方向或相反的方向移动一点，使 f 的值变化，也就是说向量 f 的梯度要在限制的梯度组成的向量空间里，即另外，我们还要求问题的解在限制平面上，即满足所有的限制，所以，在解的位置，上式关于lamda和x的梯度都为零。

3 不等式限制

   不等式即C(x) 《=0，在解的位置，若限制时激活状态，那么C(x) = 0，接的条件和等式限制一样。我们可以把拉格朗日公式写作: L = f + lamda*c; 因为我们要最小化f，所以lamda>=0;因为两个梯度要指向相反的方向，所以在不等式限制下，lamda的符号是重要的。如果限制不在激活状态，那么解变成了nabla f = 0， 同时nabla C != 0, 此时lamda = 0， 因为nabla L=0；所以在以上两种情况下都有lamda*C = 0；这个等式便是重要的KKT条件（Krash-Kuhn-Trucker）之一。

  同样，对于不等式限制，我们要求f的梯度在限制的梯度组成的向量空间中，若朗格朗日写作 L = f + sigma(lamdai * Ci),  则要求lamdai >= 0；对于不活跃的限制，令lamdai = 0。最后一个简单且有用的技巧是忽略一个活多个限制解决问题，再验证问题的解是否满足被忽略的条件，若满足，则此解为最终解，可以叫做“free constraint gambit”。

  文章然后举了几个应用例子，这里也简单的提一下

  （1）代价收益曲线，来源于信道编码的例子。在固定收益和的情况下，寻找每个曲线代价， 解的条件是每个曲线的梯度相等的点

  （2）等周长问题，大意是在两个固定点之间划一条长度固定的曲线，使得曲线与x轴之间的面积最大。拉格朗日函数中含有积分，最终解是一个曲线函数，问题可以用“函数抖动”《calculus of variations》 来解，即把任一点的函数值有 f 变为 f + deltaf; 最优曲线要求deltaf趋向于0. 最终解是一个曲率处处相等的曲线（指向或园的一部分）

     (3) 那个单变量分布具有最大的商，结果很自然的是正太分布（normal distribution）

   （4）线性限制下的最大熵问题， 得到的结果是指数分布，导致了逻辑回归（ logistic regression）的诞生

 

这是我写的第一篇博客，希望看的人能看懂