支持向量机SVM

1. 绪论

     机器学习比较火热分类模型——支持向量机SVM。已知给出数据样本$D\{(x_{1},y_{1}),(x_{2},y_{2}),...,(x_{n},y_{n})\}$，这里$y\in \{+1,-1\}$，+1代表正样本，-1代表负样本，分类器的目标是寻求能把正例负例划分的最优划分平面。在样本空间里，我们通常用$\hat{y}=w^{T}x+b$ 来刻画划分平面，其中$w$ 对应划分平面的法向量，$b$ 刻画划分平面与坐标轴原点的远近。

2. 目标

        寻求最优划分平面：$0=w^{T}x+b$,使得所有样本点满足

$$y=+1,w^{T}x+b\ge1$$ $$y=-1,w^{T}x+b\le-1$$ ,假设贴近划分平面最近的负样本点位于平面 $w^{T}x+b=-1$上，距离划分平面最近的正样本点位于平面 $w^{T}x+b=1$，此时若想划分平面对训练样本局部扰动的“容忍性”最大，则需要两个平面间的距离尽可能地大，即寻求最大平面间隔，则得到目标式: $$max\frac{2}{||w||},s.t.y*(w^{T}x+b)\ge1\tag{1}$$

3. SVM推导

        以上公式中等价于$min||w||$，这里$||w||=\sqrt{w^{T}w}$，为了优化方便这里等价于优化$\frac{1}{2}||w||^{2}$，则原式转变成：

$$min\frac{1}{2}||w||^{2},s.t. y(w^{T}x+b)\ge1\tag{2}$$ ,针对(2)，给每一项约束条件引入一个乘子 $\alpha_{i}\ge0$，采用拉格朗日乘子法得到如下函数： $$f(w,b,\alpha_{i})=\frac{1}{2}||w||^{2}+\sum_{i=1}^{n}\alpha_{i}(1-y_{i}(w^{T}x_{i}+b))\tag{3}$$ ，由于（3）中含有三个未知参数如果对其求导难以优化，因此考虑拉格朗日对偶变换，即 $f(w,b)\le f(w,b,\alpha)\le f(\alpha)$，对 $f(w,b)$中 $w,b$ 进行求导置零得： $$w=\sum_{i=1}^{n}\alpha_{i}x_{i}y_{i}\\\sum_{i=1}^{n}\alpha_{i}y_{i}=0\tag{4}$$ 将（4）回代到 $f(w,b)$中得到如下优化式： $$max\sum_{i=1}^{n}\alpha_{i}-\frac{1}{2}\sum_{i=1}^{n}\sum_{j=1}^{n}\alpha_{i}\alpha_{j}y_{i}y_{j}{\bf{x}}_{i}^{T}{\bf{x}}_{i}\tag{5}$$
在此过程中拉格朗日的乘子函数构造需要用到KKT条件， $y(w^{T}x+b)\ge1$的KKT条件如下： $$1-y(w^{T}x+b)\le0\\\alpha\ge0\\\alpha y(w^{T}x+b)=0\tag{6}$$