支持向量机详解之——系列2

间隔最大化最优值求解方法

        上节得到了线性可分支持向量机学习的最优化问题，即原始问题：

由于目标函数$\frac{1}{2}||w|{|}_2^2$是凸函数，同时约束条件不等式是仿射，所以这是一个凸二次规划问题。

• 凸优化： 凸优化问题是指约束优化问题
  
  其中，目标函数$f(w)$和约束函数$g_i(w)$都是$R^n$上的连续可微的凸函数，约束函数$h_i(w)$是$R^n$上的仿射函数。$h_i(w)$如果满足$h(x)=a\cdot x+b$，$a\in R^n,b\in R,x\in R^n$，称$h_i(w)$为仿射函数。
• 凸二次规划： 当$f(w)$为二次函数，且$g_i(w)$是仿射函数时，上述问题为凸二次规划。

1. 拉格朗日乘数法

        上述优化函数是一个比较典型的有限制条件的求多元函数极值的问题，为了求解此最优化函数，需要应用拉格朗日对偶性，通过求解对偶问题得到原始问题的最优解。那么下面，首先将简单证明下等式条件下拉格朗日乘数法的来历和KKT条件的数学推理。

1.1 拉格朗日乘数法基本思想

        拉格朗日乘子法作为一种优化算法，主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数（或者说，拉格朗日乘子是约束条件边界直线的法向量与目标函数等高线的法向量是共线向量）。

        如何将一个含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题？拉格朗日乘数法从数学意义入手，通过引入拉格朗日乘子建立极值条件，对n个变量分别求偏导对应了n个方程，然后加上k个约束条件（对应k个拉格朗日乘子）一起构成包含了（n+k）变量的（n+k）个方程的方程组问题，这样就能根据求方程组的方法对其进行求解。

等式约束问题可以如下的表示：
即：$min/maxf(x,y,z)$
　　$s.t.g(x,y,z)=0$

数学实例： 求双曲线xy=3上离原点最近的点？

转化为约束优化问题：
$minf(x,y)=x^{}$