一、简介
有数据集
分隔超平面:将线性可分数据分隔开来的边界 。当数据为二维数据时,那么分割超平面就是一条直线。
支持向量:离分隔超平面最近的那些点。
可以将两类数据正确分开的平面有无数个,我们希望支持向量离分隔超平面的间隔越大越好,越大也就说明我们找到的分隔超平面越可信。
二、函数间隔和几何间隔
函数间隔:一般来说,当超平面 确定的情况下,
能够相对的表示点
距离超平面的远近,而
的符号与标记
的符号是否一致能够表示分类是否正确,所以可用
来表示分类的正确性和确信度。
几何间隔:,即点到平面的距离。
三、间隔最大化
要让间隔最大化,首先要找到支持向量,支持向量就是离分隔平面最近的一部分点,这些点到分隔平面的距离都要小于某个值。然后让支持向量到分隔平面的几何间隔最大,即:在 的条件下,求
的最大值,等价于:在
的条件下,求
的最小值。
由此可以用拉格朗日乘子法中的不等式约束条件,为
的每条约束添加乘子,得到函数:
对 求偏导得:
,
。令两个偏导为0,得
。
最后得: , 约束条件为:
。
。
使用拉格朗日乘子法对于不等式约束要遵循KKT条件。