支持向量机SVM公式推导

硬间隔SVM（含核函数）

（1）原目标函数与原约束函数
找到一个超平面，在所有样本点分类正确的前提下，使距离超平面（w，b）最近的几个样本点，与分隔超平面几何距离最大
原目标函数：

原约束条件：

（2）由于函数间隔的取值并不影响最优化问题的解，我们可通过等比例缩放w调整几何间隔，得到新的目标函数

（3）这是一个凸二次优化的问题，求解不等式约束优化问题，利用拉格朗日乘子法转化为无约束问题（每个约束对应的乘子非负）：

（4）故原问题（Prime Problem）为极小极大问题，在原问题下，求解算法的复杂度与样本维度（等于权值w的维度）有关：

（5）通过强对偶关系（在满足KKT条件下），原问题可转化为对偶问题（Dual Problem）为极大极小问题，在对偶问题下，求解算法的复杂度与样本数量（等于拉格朗日算子a的数量）有关，在对偶函数问题下求解，可以由求特征向量w转化为求比例系数a：

（6）将5中L分别对w，b求偏导并令其为0，

（7）将6中的结果重新代入5中得到下式，导出含有内积形式的目标函数，方便引入核函数

（8）将7中的L代入5中，继续求它对α的极大，问题化为

约束条件为：

（9）由SMO算法，每次选取一对αi和αj，固定其它乘子，求解9式子，重复直至所有的α收敛
注：1）αi的选取：违反KKT条件最严重的一个样本点
2）αj的选取：与αi间隔最大的样本点
（10）由上可得，

软间隔SVM

（1）若数据点线性不可分，则增加松弛因子ξi，使得所有样本点与超平面（w,b）的函数间隔大于等于1，则原目标函数为：

原约束条件为：

（2）拉格朗日乘子法：

（3）原问题为：

（4）通过满足KKT条件下的强对偶关系，使原问题转化为对偶问题：

（5）对L关于w，b，ξ求偏导并使其为0：

（6）将5的结果代入L中得到

（7）问题化为：

约束条件为：

（8）由SMO算法求得