SVM总结

相关概念

函数间隔

$$\hat{\gamma }=y_i(w{x}_i+b)$$

在分类超平面0$wx+b=0$确定的情况下，$wx+b$与$y_i$的符号情况可以衡量分类的正确性，而$|wx+b|$可以衡量点到超平面的距离，因此$\hat{\gamma }$可以衡量分类的正确性和确信度。

几何间隔

$$\gamma =\frac{\hat{\gamma }}{||w||}=y_i(\frac{w}{||w||}{x}_i+\frac{1}{||w||}b)$$

同比例的放大w和b，并不会改变超平面，但是会改变函数间隔，因此导致几何间隔

点到超平面距离

初中几何学过，点$(x,y)$到直线$Ax+By+C=0$的距离为：
$$\frac{|Ax+By+C|}{\sqrt{A^2+B^2}}$$
推广之可得点到超平面的距离：
$$\frac{|wx+b|}{||w||}$$

支持向量机

问题导出

求解过程

拉格朗日函数:

对偶问题：

即：

若对偶问题有解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$，则存在${\alpha }_j^{\ast }>0$,使得原问题的解为：

则SVM的决策函数可以写成：
$$f(x)=sign(\sum _{i=1}^N{\alpha }_i^{\ast }{y}_i(x_{i}x)+b^{\ast })$$

软间隔

对线性不可分的数据，可以引入软间隔，SVM原始问题变为：

此时，解$w^{\ast }$唯一，但$b$的解不唯一，而是存在与一个区间中。

对偶问题：

若对偶问题有解${\alpha }^{\ast }=({\alpha }_1^{\ast },{\alpha }_2^{\ast },\dots ,{\alpha }_N^{\ast })$，若存在一个分量$0<{\alpha }_j^{\ast }<C$,那么原问题有解：

SMO算法

基本思想

若所有变量的解都满足KKT条件，那么问题的解就得到了，因为KKT条件是最优化问题的充要条件；否则，选择两个变量，固定其他变量，构建针对两个变量的二次规划问题，这个问题的解会使得目标函数值变得更小，因此更接近原最优化问题的解。而两变量的二次规划问题可以通过解析方法求解，因此可以大大提高速度。

选择的两个变量一个是违反KKT条件最严重的那个，另一个由约束条件自动确定。整个SMO算法包括两部分：求解两变量二次规划问题的解析方法和选择变量的启发式方法。

两变量二次规划问题

选定${\alpha }_1,{\alpha }_2$,固定其他变量，最优化问题变为：

其中$K_{ij}=K(x_i,x_j)$。约束条件使得问题的解在平行于对角线的一条线段上。

那么其实可以看做单变量的最优化问题。