(斯坦福机器学习课程笔记)支持向量机之拉格朗日函数

对于只有等式约束的问题，如:
$min \quad f(x)$
$s.t. \quad h_i(x)=0$
用拉格朗日函数优化求解的方法是
构造拉格朗日函数
$L(x,\lambda_i)=f(x)+\sum_{i=1}^k \lambda_ih_i(x)$
用条件
$\frac{\partial L}{\partial x}=0$以及
$h_i(x)=0$
求解

===============================例题=============================
求解：
$min \quad -8xyz$
$s.t. \quad \frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$
解题过程是：
构建拉格朗日函数
$L(x,y,z,\lambda)=-8xyz-\lambda(\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}-1)$
求解条件是：
$\frac{x^2}{a^2}+\frac{y^2}{b^2}+\frac{z^2}{c^2}=1$
$-8yz-\frac{\lambda}{a^2}2x=0$
$-8xz-\frac{\lambda}{b^2}2y=0$
$-8xy-\frac{\lambda}{c^2}2z=0$
得
$x=\frac{\sqrt3}{3}a$
$y=\frac{\sqrt3}{3}b$
$z=\frac{\sqrt3}{3}c$

============================================================
对于含有不等式约束的优化问题,如
$min \quad f(x)$
$s.t. \quad h_i(x)=0$
$g_j(x)\leq0$
构造拉格朗日函数
$L(x,\lambda,\mu)=f(x)+\sum\lambda_ih_i(x)+\sum\mu_jg_j(x)$
可用K.K.T条件求解
$h_i(x)=0$
$\mu_jg_j(x)=0$
$\frac{\partial L}{\partial x}=0$
还有2个约束条件，对求解没有帮助
$\mu_j\geq 0$
$g_j(x)\leq0$
================================例题===============================
$min \quad x+3y$
$s.t. \quad x+y\geq 2$
$x,y \geq 0$
构建拉格朗日函数
$L(x,y,\mu)=x+3y+\mu_1(2-x-y)+\mu_2(-x)+\mu_3(-y)$
根据K.K.T条件，解方程组
$\mu_1(2-x-y)=0$
$\mu_2(-x)=0$
$\mu_3(-y)=0$
$1-\mu_1-\mu_2=0$
$3-\mu_1-\mu_3=0$
得
$\mu_1=1$
$\mu_2=0$
$\mu_3=2$
$x=2$
$y=0$