机器学习之SVM（算法详细推导）

SVM

目标

寻找最大边缘超平面，即使得支持向量距离超平面距离尽可能大

支持向量

样本中距离超平面最近的一些点，SVM的决策边界完全由支持向量决定，因此当将能够被正确分类且远离决策边界的样本点加入到训练数据中，也不会影响改变SVM原来确定的决策边界。

最优化问题

最大化两间隔边界之间的距离

$$\begin{gathered} ma{x}_w\frac{2}{||w||} \\ \Rightarrow mi{n}_w\frac{1}{2}||w|| \\ s.t.y_i(w^T{x}_i+b)\ge 1 \end{gathered}$$

对偶问题

$$\begin{gathered} ma{x}_{{\lambda }_i}f({\lambda }_i) \\ =>ma{x}_{{\lambda }_i}-\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\lambda }_i{\lambda }_j{y}_i{y}_j(x_i.x_j)+\sum _{i=1}^n{\lambda }_i \\ s.t.\sum _{i=1}^n{\lambda }_i{y}_i=0,{\lambda }_i\ge 0 \end{gathered}$$

求支撑向量

求$\frac{\partial f({\lambda }_i)}{\partial {\lambda }_i}=0$ 得到${\lambda }_i$ ，然后验证${\sum }_{i=1}^n{\lambda }_i{y}_i=0$ ，如果满足则${\lambda }_i>0$ 对应的样本就是支撑向量；否则分类讨论，即令其中一个${\lambda }_i=0$ ，求解剩余的${\lambda }_j$ 然后比较每次求得的$f({\lambda }_i)$选择$f({\lambda }_i)$ 最小时候对应的${\lambda }_i$ ，且${\lambda }_i>0$对应的样本就是支撑向量。

求分界线

最优权重

$$w^{\ast }=\sum _{i=1}^n{\lambda }_j{y}_i{x}_i$$

其中$x_i$是列向量

截距项

通过将任意支撑向量X(+1)，代入${\sum }_{i=1}^K{\sum }_{j=1}^n{w}_i{x}_{ji}+b=1$ 得到

或通过将任意支撑向量X(-1)，代入${\sum }_{i=1}^K{\sum }_{j=1}^n{w}_i{x}_{ji}+b=-1$得到

最优分界线

$$\sum _{i=1}^K\sum _{j=1}^n{w}_i{x}_{ji}+b=0$$

运用梯度下降方法求解SVM

线性SVM

改进的线性SVM目标函数——软间隔

$$min\frac{1}{2}||w|{|}_2^2+C\#K$$

其中C表示错分的惩罚力度，#K表示所分点个数，即 K = { i K=\{i K={i|$y_i(w^T{x}_i+b)<1\}$

相当于
$$min\frac{1}{2}||w|{|}_2^2+C\sum _{i\in K}(1-y_i(w^T{x}_i+b))$$

参数更新

$$\begin{gathered} w:=w-\alpha (w-C\sum _{i\in K}{y}_i{x}_i) \\ b:=b+\alpha C\sum _{i\in K}{y}_i \end{gathered}$$

非线性SVM

非线性SVM目标函数

m i n       1 2 ∣ ∣ w ∣ ∣ 2 2 + C ∑ i ∈ K ( 1 − y i ( w T ϕ ( x i ) ) ) K = { i ∣ y i ( w T ϕ ( x i ) ) < 1 } ,         w = ∑ i = 1 n λ i y i ϕ ( x i ) min~~~~~\frac{1}{2}||w||_2^2+C \sum_{i\in K}(1-y_i(w^T\phi(x_i)))\\ K=\{i|y_i(w^T\phi(x_i))<1\},~~~~~~~w=\sum_{i=1}^n\lambda_iy_i\phi(x_i) min     21​∣∣w∣∣22​+Ci∈K∑​(1−yi​(wTϕ(xi​)))K={i∣yi​(wTϕ(xi​))<1},       w=i=1∑n​λi​yi​ϕ(xi​)

令${\alpha }_i={\lambda }_i{y}_i$故化简为

$$min\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j\varphi (x_i{)}^T\varphi (x_j)+C\sum _{i\in K}(1-y_i(\sum _j{\alpha }_j\varphi (x_j{)}^T\varphi (x_i)))$$

再令$K_{ij}=\varphi (x_i{)}^T\varphi (x_j)$，则最终化简为

$$min\frac{1}{2}\sum _{i,j}{\alpha }_i{\alpha }_j{K}_{ij}+C\sum _{i\in K}(1-y_i(\sum _j{\alpha }_j{K}_{ij}))$$

参数更新

$${\alpha }_i:={\alpha }_i-\eta (\bar{K}\alpha -C\sum _{i\in K}{y}_i\overline{K_i})$$

模型分类结果

$$\begin{gathered} \sum _j{\alpha }_j{K}_{ij}<0=>y_i=-1 \\ \sum _j{\alpha }_j{K}_{ij}>0=>y_i=1 \end{gathered}$$

根据线性、非线性目标函数的区别以及C,高斯核的$\sigma$取值的性质，判断目标函数对应的分类结果图

1. C表示分错点的惩罚程度。当C越大的时候说明对分错点的惩罚程度就越大，也就是对错误点的容忍率越低，分错点就会越少，（也就是强行将分割面插在很近的两个异类点之间）这时候两支撑面之间的间隔就会变小，$\Vert w\Vert$ 会增大。但随着C趋向无穷，也就退回到了原始SVM，没有错误点可以容忍，此时$\Vert w\Vert$ 不会改变，间隔也不会变，支撑向量数量减少（由于在改进SVM中那些容错点（两支撑面之间的点）也是支持向量）。

2. $\sigma$越小，数据点越少，越容易造成过拟合

首先发现1，2的目标函数表示的是线性SVM，而1中的C=0.1,2中的C=1，则说明2中的SVM分错点更少一点，则1对应的图为c，2对应的图为b。

其次发现3，4，5的目标函数都是非线性SVM，且3中选择的核函数是多项式，而4，5选择的是高斯核函数，则3对应的决策边界是二次曲线则图应该为b。进而，4中的${\sigma }^2=1$,5中的${\sigma }^2=0.5$，则5的拟合效果会更好曲线更弯曲且可能会过拟合因此5对应的e图，4对应的是a图