本文介绍了SVM的核心概念：间隔、超平面和支持向量。间隔是找到最大间距以分离两类样本的超平面；超平面是实际的决策边界，将数据点完全分开；支持向量是最接近超平面的样本点。SVM的目标是找到最大间隔的超平面，以优化分类效果。优化问题最终转化为最小化权重向量的范数平方。
SVM三宝
间隔 对偶 核函数
间隔
什么是线性可分
在二维界面上，两类点呗一条直线完全分开，叫做线性可分。
严格的数学定义是
D 0 D_0 D0和 D 1 D_1 D1是n维欧氏空间中的两个点集(点的集合)。如果存在n维向量w和实数b，使得所有属于 D 0 D_0 D0的点 x i x_i xi都有
w x i + b > 0 wx_i + b > 0 wxi+b>0,而对于所有属于 D 1 D_1 D1的点 x j x_j xj则有 w x j + b < 0 wx_j + b < 0 wxj+b<0。则我们称 D 0 D_0 D0和 D 1 D_1 D1线性可分
什么是超平面
将 D 0 D_0 D0和 D 1 D_1 D1 完全正确划分开的 w x + b = 0 wx + b = 0 wx+b=0就是一个超平面
以最大间隔把两类样本分开的超平面，是最佳超平面，也称之为最大间隔超平面。
1.两类样本分别分隔在该超平面的两侧
2.两侧距离超平面最近的样本点到超平面的距离被最大化了
什么是支持向量
SVM 尝试寻找一个最优的决策边界，距离两个类别的最近的样本最远
SVM 要最大化margin
在蓝色样本中存在一些距离我们的超平面最近的一些点，这些点叫做支撑向量
SVM的最优化问题是什么
首先我们想要最优化的是各类样本点到超平面的距离最远(其实也就是找到最大间隔超平面)
然后任意一个超平面可以用下面这个线性方程来描述
w T x + b = 0 w^T x +b = 0 wTx+b=0
n维空间距离又是怎么算的呢
我们看二维空间点(x,y)到直线的Ax + By + C = 0 的距离计算公式是：
∣ A x + B y + C ∣ A 2 + B 2 \frac{|A x+B y+C|}{\sqrt{A^{2}+B^{2}}} A
最低0.47元/天 解锁文章
108
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
