推导SVM

1.原始问题

对于线性可分的$d$维训练样本集合 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } D=\{(\pmb{x_1}, y_1), (\pmb{x_2}, y_2), ..., (\pmb{x_m}, y_m)\} D={(x1​​x1​​​x1​,y1​),(x2​​x2​​​x2​,y2​),...,(xm​​xm​​​xm​,ym​)}， y i ∈ { − 1. + 1 } y_i \in\{-1.+1\} yi​∈{−1.+1}，求该超平面的方程。
规定样本点不得落在超平面边界上，则由极限的定义，必然存在两个平行的、亦可划分训练集的超平面：$${w\text{w}w}^{T}x\text{x}x+b+1=0$$$${w\text{w}w}^{T}x\text{x}x+b-1=0$$不妨设证样本在上，负样本在下。则超平面：$${w\text{w}w}^{T}x\text{x}x+b=0$$是一个解，输出参数($w\text{w}w,b$)。
为了得到一个合理的解，我们要求前面两个超平面的距离（”margin“）尽可能远，这个距离在参考高中的”点到直线距离公式“，即：$$\underset{w,b}{\max }\frac{2}{||w\text{w}w||}s.t.y_i({w\text{w}w}^{T}x\text{x}x+b)\ge 1,i=1,2,3,...,m$$
等价于$$\underset{w,b}{\min }\frac{1}{2}||w\text{w}w|{|}^{2}s.t.1-y_i({w\text{w}w}^T{x\text{x}x}_i+b)\le 0,i=1,2,3,...,m$$
需要注意的是，虽然这里的优化目标函数与b无关，但是$w\text{w}w和b$同为自变量。可看作目标函数中b的系数为0。

2.对偶问题

写出上式的拉格朗日函数$$L(w\text{w}w,b,\alpha \text{α}\alpha )=\frac{1}{2}||w\text{w}w|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i({w\text{w}w}^T{x\text{x}x}_i+b))$$其中${\alpha }_i\ge 0$。
对$(d+1)$个自变量分别求偏导，并令为0：
$$\frac{\partial L}{\partial b}=\sum _{i=1}^m-{\alpha }_i{y}_i=0$$
$$\frac{\partial L}{\partial w_j}=w_j-\sum _{i=1}^m{\alpha }_i{y}_i{x}_{ij}=0$$
把偏导数的结果带回原拉格朗日函数，消去$w\text{w}w$和$b$:
$$\begin{array}{ccc}L(w\text{w}w,b,\alpha \text{α}\alpha )& & =\frac{1}{2}||w\text{w}w|{|}^2+{\sum }_{i=1}^m{\alpha }_i(1-y_i({w\text{w}w}^T{x\text{x}x}_i+b))\\ & & ={\sum }_{i=1}^m{\alpha }_i+\frac{1}{2}||w\text{w}w|{|}^2-{w\text{w}w}^T{\sum }_{i=1}^m{\alpha }_i{y}_i{x\text{x}x}_i\\ & & ={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}||w\text{w}w|{|}^2\\ & & ={\sum }_{i=1}^m{\alpha }_i-\frac{1}{2}{\sum }_{i=1}^m{\sum }_{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x\text{x}x}_i^T{x\text{x}x}_j\end{array}$$
得到原问题的对偶问题：优化
$$\underset{\alpha \text{α}\alpha }{\max }L(\alpha \text{α}\alpha )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x\text{x}x}_i^T{x\text{x}x}_j,$$
$$\begin{array}{cc}s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i& =0,\\ {\alpha }_i& \ge 0\end{array}$$
该优化满足KKT条件：
$$\{\begin{array}{r}{\alpha }_i\ge 0\\ 1-y_{i}f({x\text{x}x}_i)\le 0\\ {\alpha }_i(1-y_{i}f({x\text{x}x}_i))=0\end{array}$$
对于该式的形象解释参见 https://zhuanlan.zhihu.com/p/24638007
对于最原始的线性可分问题的解释到此为止。下面讨论数据线性不可分的情形。主要包括两条线——核函数映射到高维空间使得数据线性可分，或借助软间隔使得线性不可分的效应影响到最小。

3.最大化软间隔

西瓜书的思路是对于一个线性不可分的数据集，先想办法用线性可分的办法来处理，所以先介绍了核方法。但是对于一个线性不可分数据集，我们最直观的想法是“如何忽略个别点的影响，学得一个大体上可以接受的线性分类器”。所以这里先介绍最大化软间隔的方法。
在这里，我们允许某些样本不满足约束$y_i({w\text{w}w}^{T}x\text{x}x+b)\ge 1$。西瓜书先引入loss并选取hinge loss，最后泛化为松弛变量。而此文直接引入松弛变量${\xi }_i\ge 0$，则原约束放松，改写为$y_i({w\text{w}w}^{T}x\text{x}x+b)\ge 1-{\xi }_i,i=1,2,3,...,m$，同时改写优化的目标函数，原问题转化为：
$$\begin{array}{rc}{\min }_{w,b}\frac{1}{2}||w\text{w}w|{|}^2+C{\sum }_{i=1}^m{\xi }_i& \\ s.t.1-y_i({w\text{w}w}^T{x\text{x}x}_i+b)-{\xi }_i\le 0,& \\ -{\xi }_i\le 0,& i=1,2,3,...,m\end{array}$$
其中$C$为选定的常数。
注：此时若${\xi }_i<1$，则该样本仍可被分类正确，只是距离分类边界足够近而不够鲁棒。若${\xi }_i>1$，则意味着允许错误样本的出现。如果${\xi }_i=+\infty$，则意味着没有约束，任意的超平面均符合条件。
目标函数的拉格朗日函数为：
$$L(w\text{w}w,b,\alpha \text{α}\alpha ,\xi \text{ξ}\xi ,\mu \text{μ}\mu )=\frac{1}{2}||w\text{w}w|{|}^2+C\sum _{i=1}^m{\xi }_i+\sum _{i=1}^m{\alpha }_i(1-y_i({w\text{w}w}^T{x\text{x}x}_i+b)-{\xi }_i)+\sum _{i=1}^m-{\mu }_i{\xi }_i$$
对上述(d+m+1)个自变量求偏导，并令为0：
$$\frac{\partial L}{\partial b}=\sum _{i=1}^m-{\alpha }_i{y}_i=0$$
$$\frac{\partial L}{\partial w_j}=w_j-\sum _{i=1}^m{\alpha }_i{y}_i{x}_{ij}=0$$
$$\frac{\partial L}{\partial {\xi }_i}=C-{\alpha }_i-{\mu }_i=0$$
其中$i$表示样本下标，$j$表示维度下标。
化简结果带回原目标函数，得到相同的对偶问题目标函数：
$$\underset{\alpha \text{α}\alpha ,\alpha \text{α}\alpha }{\max }L(\alpha \text{α}\alpha ,\mu \text{μ}\mu )=\sum _{i=1}^m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x\text{x}x}_i^T{x\text{x}x}_j,$$
$$\begin{array}{c}s.t.{\sum }_{i=1}^m{\alpha }_i{y}_i=0,\\ C\ge {\alpha }_i\ge 0\end{array}$$
满足KKT条件：
$$\{\begin{array}{r}{\alpha }_i\ge 0,{\mu }_i\ge 0\\ 1-y_{i}f({x\text{x}x}_i)-{\xi }_i\le 0\\ -{\xi }_i\le 0\\ {\alpha }_i(1-y_{i}f({x\text{x}x}_i)-{\xi }_i)=0\\ -{\mu }_i{\xi }_i=0\end{array}$$
可以看到除了对偶变量的约束之外，以上两个优化问题的形式是极其相似的，也都能用SMO算法进行求解。
观察KKT条件：
$$\{\begin{array}{r}{\xi }_i\ge 1-y_{i}f({x\text{x}x}_i)\\ {\xi }_i\ge 0\end{array}$$
hinge loss出现了！！！：$$l_{hinge}(z)=max(0,1-z)$$

4.核方法

待续