支持向量机的问题转化与推导

一、概念
已知训练数据集 $T=\{(x_{1},y_{1}),(x_{2},y_{2}),......,(x_{N},y_{N})\}$

分离超平面：$y(x)=wx+b$

（1）样本点$(x_{i},y_{i})$到分割超平面的函数间隔： $\overline r_{i}=y_{i}(wx_i+b)$

（2）数据集$T$到分割超平面的函数间隔： $\overline r=min \ \overline r_i$ 这里$i =1,2,...,N$

（3）样本点$(x_{i},y_{i})$到分割超平面的几何间隔： $r=y_{i}(\frac{w}{||w||}x_i+\frac{b}{||w||})$
（4）数据集$T$到分割超平面的几何间隔： $r=min \ r_i$ 这里$i =1,2,...,N$

二、问题描述转化
我们求一个几何间隔最大的分离超平面：
即 $max \ \ r$ 使得 $y_{i}(\frac{w}{||w||}x_i+\frac{b}{||w||})>= r=min \ r_i$
进一步化简得：
$max \ \frac{\overline r}{||w||}$
使得 $y_{i}(\frac{w}{||w||}x_i+\frac{b}{||w||})>=\frac{\overline r}{||w||}=min \frac{\overline r_i}{||w||} \ $
即
$max \ \frac{\overline r}{||w||}$
使得 $y_{i}(wx_i+b)>=\overline r=min \ \overline r_i$
即
$max \ \frac{1}{||w||}$
使得 $y_{i}(wx_i+b)>=1$
即
$max \ \frac{1}{||w||}$
使得 $y_{i}(wx_i+b)-1>=0$
即
$min \ \frac{1}{2}||w||^2$
使得 $y_{i}(wx_i+b)-1>=0$

三、最后利用拉格朗日求解这个问题即可！