SVM(三)：线性支持向量机的对偶算法

对偶算法相较于原算法有两个优点：
1.对偶问题往往更容易求解
2.自然引入核函数，进而推广到非线性分类问题

一、线性可分支持向量机

首先构建拉格朗日函数，定义为：

根据拉格朗日对偶性，原始问题的对偶问题是极大极小问题：

所以为了得到对偶问题的解，要先求拉格朗日函数对w，b的极小，再求对a的极大。
将拉格朗日函数分别对w，b求偏导并令其等于0，有：

将上式带入到拉格朗日函数中可以得到：

这样就可以得到拉格朗日函数对w，b的极小，再求对a的极大，即是对偶问题：

将上式由