SVM求硬间隔最大超平面

题目描述

正例点$x_1=(3,3{)}^T$,$x_2=(4,3{)}^T$,负样例点$x_3=(1,1{)}^T$,求最大硬间隔分离超平面。

解法

求硬间隔最大分离超平面的问题也就是求：
$${min}_{w,b}\frac{1}{2}{||w||}^2$$
$$s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,2,...,N$$

代入到本题，也就是求：
$${min}_{w,b}\frac{1}{2}({w_1}^2+{w_2}^2)$$
$$\begin{gathered} s.t.2w_1+3_{w}2+b-1\ge 0 \\ 4w_1+3_{w}2+b-1\ge 0 \\ -w_1-w_2-b-1\ge 0 \end{gathered}$$
约束条件变换一下，得：
$$1-3w_1-3w_2-b\le 0\text{\hspace{1em}(1)}$$
$$1-4w_1-3w_2-b\le 0\text{\hspace{1em}(2)}$$
$$1+w_1+w_2+b\le 0\text{\hspace{1em}(3)}$$

构造拉格朗日函数：
$$L=\frac{1}{2}({w_1}^2+{w_2}^2)+\alpha \ast (1)+\beta \ast (2)+\gamma \ast (3)$$
拉格朗日函数满足ktt条件$({\nabla }_{x}L=0)$，此处${\nabla }_{w,b}L=0$,即：
$$\frac{\partial L}{\partial w_1}=w_1-3\alpha -4\beta +\gamma =0\text{\hspace{1em}(4)}$$
$$\frac{\partial L}{\partial w_2}=w_2-3\alpha -3\beta +\gamma =0\text{\hspace{1em}(5)}$$
$$\frac{\partial L}{\partial b}=-\alpha -\beta +\gamma =0\text{\hspace{1em}(6)}$$
另一个ktt条件是${\alpha }_i^{\ast }\cdot c_j^{\ast }=0$，$c_j^{\ast }$分别为(1),(2),(3)，${\alpha }_i^{\ast }$分别为$\alpha$,$\beta$,$\gamma$，即有：
$$\alpha (1-3w_1-3w_2-b)=0\text{\hspace{1em}(7)}$$
$$\beta (1-4w_1-3w_2-b)=0\text{\hspace{1em}(8)}$$
$$\gamma (1+w_1+w_2+b)=0\text{\hspace{1em}(9)}$$
$$\alpha ,\beta ,\gamma \ge 0,c_j\le 0$$

解(4),(5),(6),(7),(8),(9)这六个方程组可以得出最优解为$w_1=w_2=\frac{1}{2},b=-2$，所求得分离超平面为：
$$\frac{1}{2}{x}^{(1)}+\frac{1}{2}{x}^{(2)}-2=0$$,
其中$x_1=(3,3{)}^T$和$x_3=(1,1{)}^T为支持向量$。
求上面六个方程组可以用以下代码求解：

from scipy.optimize import fsolve

def solve_f(value):
    w1,w2,A,B,C,b = value[0],value[1],value[2],value[3],value[4],value[5]
    return [
        w1-3*A-4*B+C,
        w2-3*A-3*B+C,
        -A-B+C,
        A*(1-3*w1-3*w2-b),
        B*(1-4*w1-3*w2-b),
        C*(1+w1+w2+b),
    ]
solved = fsolve(solve_f,[0.5,0.5,0.5,0.5,0.5,0.5])
print(solved)

输出结果为：
[ 5.00000000e-01 5.00000000e-01 2.50000000e-01 -3.36817019e-13
2.50000000e-01 -2.00000000e+00]
其中，第一第二个分别为$w_1$,$w_2$的值，最后一个为$b$的值。

Reference

1，李航 统计学习方法第二版
2，b站某阿婆主svm公式视频讲解