SVM最先是被用来对线性可分的数据集做分类。下图是超平面的推导。主要思路是w是这个超平面的法向量,然后点到超平面的距离等于xx‘向w投影。
然后推导出距离公式为上图所示。注意到y与wx+b同号,就可以得到如下的式子
注意到wx+b的系数可以被放缩,可以进一步要求最小的那个y(wx+b)=1.
然后,就变成了下边的式子:
放松条件,再将最大化转变为最小化后,就变为下边的式子:
此最优化问题可以用二次规划来解。
如果是非线性的集合,可以先把x变换,变换成一个可以线性可分的集合再做。