支持向量机（SVM）前戏-手动求解超平面方程

问题：训练集有3个数据点，其中两个正例点：$x_1=(3,3{)}^T,x_2=(4,3{)}^T,一个负例点：x_3=(1,1{)}^T$。试求最大间隔分离超平面（在二维空间即为一条直线）。

构建模型：设超平面方程为$w_{1}x+w_{2}y+b=0$，则上述问题等价于下列约束最优化问题：
$\underset{w_i,b,i=1,2}{\min }\frac{1}{2}(w_1^2+w_2^2)$
s.t.
$3w_1+3w_2+b>=1$
$4w_1+3w_2+b>=1$
$-w_1-w_2-b>=1$

1，代数解法

构建拉格朗日函数：
$\mathcal{L}(w_1,w_2,b,{\mu }_1,{\mu }_2,{\mu }_3)=\frac{1}{2}(w_1^2+w_2^2)+{\mu }_1(1-3w_1-3w_2-b)+{\mu }_2(1-4w_1-3w_2-b)+{\mu }_3(w_1+w_2+b+1)$

求偏微分：
$\frac{\partial \mathcal{L}}{\partial w_1}=w_1-3{\mu }_1-4{\mu }_2+{\mu }_3=0$
$\frac{\partial \mathcal{L}}{\partial w_2}=w_2-3{\mu }_1-3{\mu }_2+{\mu }_3=0$
$\frac{\partial \mathcal{L}}{\partial b}=-{\mu }_1-{\mu }_2+{\mu }_3=0$
用KKT条件对其进行约束：
$3w_1+3w_2+b-1>=0$
$4w_1+3w_2+b-1>=0$
$-w_1-w_2-b-1>=0$
${\mu }_i>=0,i=1,2,3$
${\mu }_1(3w_1+3w_2+b-1)=0$
${\mu }_2(4w_1+3w_2+b-1)=0$
${\mu }_3(-w_1-w_2-b-1)=0$
分情况进行讨论：
1）假设${\mu }_1=0，可以计算得w_1=3{\mu }_2,w_2=2{\mu }_2,带入三个不等式得：b>=1-15{\mu }_2,b>=1-18{\mu }_2,b<=-5{\mu }_2-1$。
此时${\mu }_2={\mu }_3>=1/5，则4w_1+3w_2+b-1=0，-w_1-w_2-b-1=0，即18{\mu }_2+b-1=0,-5{\mu }_2-b-1=0,即{\mu }_2=2/13，矛盾，所以{\mu }_1大于0$。

2）假设${\mu }_2=0，可以计算得w_1=w_2=2{\mu }_1>0,带入三个不等式（有两个已经变成了等式）得：b=1-12{\mu }_1,b>=1-14{\mu }_1,b=-4{\mu }_1-1$。
此时${\mu }_2=0，{\mu }_1={\mu }_3=1/4,w_1=w_2=1/2,b=-2$。

假设${\mu }_2不等于0，则4w_1+3w_2+b-1=0，3w_1+3w_2+b-1=0，即w_1=0,易得{\mu }_3=0,{\mu }_2=-{\mu }_1，显然出现了矛盾，此种情况不可能。$

3）假设${\mu }_3=0，由前面的条件易知{\mu }_1=0，出现了矛盾$。

综上所述：
${\mu }_2=0,{\mu }_1={\mu }_3但不等于0，此时{\mu }_2=0，{\mu }_1={\mu }_3=1/4,w_1=w_2=1/2,b=-2$。

所以超平面方程为$1/2x+1/2y-2=0$。

Note:使得${\mu }_i$不等于0的点都是支持向量上的点，其他点并没有起到约束效果。对于求最小值，构造拉格朗日函数时，应该使约束条件的方向是g(x)<=0，这样才能保证KKT乘子是正数。

2，几何解法

约束条件在三维空间对应着三个面所夹的范围，函数$f(x)=x^2+y^2$可以看成是一个动态的往外扩展的圆。如下图：

圆与这个空间想切的地方，即是最小值出现的地方。

附上图实现的代码：

require(rgl)
x = seq(-10, 10, len = 100)
df <- expand.grid(x=x,y=x,z=x)
df$ind <- with(df, 3*x+3*y+z>=1 & 4*x+3*y+z>=1 & x+y+z<=-1)
plot3d(df$x, df$y, df$z, type = 'n')
with(df[df$ind, ], points3d(x, y, z, color = 'red', size = 10))

3，专业解法

上述问题的对偶问题是
$\underset{\mu }{\min }f({\mu }_1,{\mu }_2,{\mu }_3)=\frac{1}{2}{\sum }_{i=1}^3{\sum }_{j=1}^3{\mu }_i{\mu }_j{y}_i{y}_j(x_i.x_j)-{\sum }_{i=1}^3{\mu }_i$
s.t.
${\mu }_1+{\mu }_2-{\mu }_3=0$
${\mu }_i>=0，i=1,2,3$

可以简化为
$\underset{\mu }{\min }$ $f({\mu }_1,{\mu }_2)=4{\mu }_1^2+\frac{13}{2}{\mu }_2^2+10{\mu }_1{\mu }_2-2{\mu }_1-2{\mu }_2$
此方程的解与上述情况一样。