拉格朗日乘子法的证明
在学习支持向量机的时候,计算对偶问题时用到了拉格朗日乘子法((Lagrange multiplier method)),回想起高中时使用拉格朗日乘子法求不等式约束条件下的最优化问题时的困惑,虽然一直知道用,但是却不知道为什么拉格朗日乘子法能够用。知其然更应知其所以然,本文就来扒一扒“拉格朗日乘子法”的来龙去脉。
等式约束下的最优化问题
给定一个不等式约束条件下的最优化问题,
minxf(x)s.t.g(x)=0(1)
此处假定 f(x) 为凸函数,需要找到的是在约束条件 g(x)=0 的条件下,使得目标函数 f(x) 最小的 x 值(注:
从几何的角度看,这个问题的目标是在由方程