SVM三宝
间隔 对偶 核函数
间隔
什么是线性可分
在二维界面上,两类点呗一条直线完全分开,叫做线性可分。
严格的数学定义是
D 0 D_0 D0和 D 1 D_1 D1是n维欧氏空间中的两个点集(点的集合)。如果存在n维向量w和实数b,使得所有属于 D 0 D_0 D0的点 x i x_i xi都有
w x i + b > 0 wx_i + b > 0 wxi+b>0,而对于所有属于 D 1 D_1 D1的点 x j x_j xj则有 w x j + b < 0 wx_j + b < 0 wxj+b<0。则我们称 D 0 D_0 D0和 D 1 D_1 D1线性可分
什么是超平面
将 D 0 D_0 D0和 D 1 D_1 D1 完全正确划分开的 w x + b = 0 wx + b = 0 wx+b=0就是一个超平面
以最大间隔把两类样本分开的超平面,是最佳超平面,也称之为最大间隔超平面。
1.两类样本分别分隔在该超平面的两侧
2.两侧距离超平面最近的样本点到超平面的距离被最大化了
什么是支持向量
SVM 尝试寻找一个最优的决策边界,距离两个类别的最近的样本最远
SVM 要最大化margin
在蓝色样本中存在一些距离我们的超平面最近的一些点,这些点叫做支撑向量
SVM的最优化问题是什么
首先我们想要最优化的是各类样本点到超平面的距离最远(其实也就是找到最大间隔超平面)
然后任意一个超平面可以用下面这个线性方程来描述
w T x + b = 0 w^T x +b = 0 wTx+b=0
n维空间距离又是怎么算的呢
我们看二维空间点(x,y)到直线的Ax + By + C = 0 的距离计算公式是:
∣ A x + B y + C ∣ A 2 + B 2 \frac{|A x+B y+C|}{\sqrt{A^{2}+B^{2}}} A