Python使用佩加索斯（Pegasos）算法实现软间隔SVM

一.软间隔SVM目标函数推导

SVM假定存在一个超平面能够将两类样本完全分隔开来，但在实际情况中，数据是不能被一个平面完全分隔的，因此，为了使得问题可解，我们需要在原SVM的优化问题上加入松弛变量ε，ε是一个大于等于0的数，引入松弛变量后，原优化问题转化为：

                               

其中，C是正则化常数，其取值越大，则表示对误分类的惩罚越大，即要求越严格。不难看出，当ε=0时，该问题将会成为标准的SVM优化问题.

引入松弛变量后，其约束条件变为：

                                  

由于标签y的取值为-1或1，则其约束条件可以简化为：

                            

那么，我们应该如何求得该目标函数的最优解呢？

首先，需要构建损失函数，我们通过惩罚错误分类的数目来实现，在这里，采用hinge损失函数：

                                   

 则松弛变量ε可以用该损失函数来表示：

                            

其含义为，当分类正确时，即