原文链接:SVM支持向量机原理及核函数
转载请注明出处
支持向量机原理
大距离分类算法
1、名词解释:
分割超平面:如下图所示,构造一个分割线把圆形的点和方形的点分开,这个线称为分割超平面。
支持向量:离分割超平面最近的点
间距:支持向量到分割超平面距离的两倍
SVM算法的原理就是找到一个分割超平面,它能把数据正确的分类,并且间距最大!
2、计算间距
在而为空间里,可以使用方程 w1x1+w2x2+b=0 来表示分割超平面。针对高纬度空间,可以写成一般化的向量形式,即 wTx+b=0 。这里画出与分割线超平面平行的两条直线,分别穿过两个类别的支持向量。这两条直线的方程分别为 wTx+b=−1 和 wTx+b=1 。如下图所示:
根据点到直线的距离公式,可以算出支持向量A到分割超平面的距离为:
由于点 A 在直线
求 1∣∣∣∣w∣∣∣∣ 的最大值即使求 ||w||2 的最小值:
其中 n 为限量
类别是离散的值,分别使用-1表示圆点类别,1表示方点类别,即y\in \left\(-1,1 \right\)。针对数据集中的所有样本 x(i)