关于SVM的推导和理解

实际问题到SVM的原始问题：

对于二分类问题，希望找到一个分类超平面将两类样本点分开。在众多的分类超平面中哪个才是最好的边界？在此认为可以容忍最大误差的‘最中间’的分类超平面是最好的。

所以有：

采用函数间隔表示：

因为w和b的可伸缩性，不妨设函数间隔为1，可以得到如下等价的问题，我们称为原始问题。

该凸优化问题求解出最优解有即可得到如下的分离超平面和决策函数：

SVM的对偶算法：

优点：1）对偶问题容易求解；2）自然能引入核函数，推广到非线性分类

 

原问题的拉格朗日函数如下：

原始问题的对偶问题是极大极小问题，即：

1）极小化：（根据梯度为0，得到相应条件带入化解）

2）极大化。（即对偶问题）

即如下问题：

得到上述对偶问题的解a后，即可得到原始问题的解：

软间隔最大化

原始问题：

化解为对应拉格朗日函数极大极小的问题，过程如下：

所以得到的对偶问题如下：

得到对偶问题后，求得对偶问题的解，进而可以得到对偶问题的解：

关于SVM的几点：

1）

2）另一种解释：

最小化合页损失函数和间隔最大化是等价的。

关于拉格朗日对偶性的解释：

原始问题是：

对应的拉格朗日函数：

关于原始问题和相应的拉格朗日函数；

对偶问题为：

对偶问题和原始问题的关系：

关于KKT条件：