1. 基础概念
SVM(Support Vector Machine)支持向量机,是一类出色的监督学习算法,常用于分类和回归问题。SVM的一个重要特征是,其通过最大化几何间隔的方式,降低了经验分类误差,因此SVM又被称为最大间隔分类器。其次,SVM是一类线性分类器,通过构造分隔超平面,将数据分为两个类别。对于线性不可分的数据,SVM通过将原始数据映射到更高的维度,从而使其线性可分。
我们将数据表示为如下形式:
其中,表示数据的两个类别。n表示数据的数量。
如上图所示,分隔超平面将两个类别的数据分隔开来。并且在超平面的两侧,各构造一个与分隔超平面平行的平面:
则数据点位于平面两侧,且该平面距离分隔超平面距离最远。其中位于平面上的点称为支持向量(Support Vector)。SVM通过最大化平面之间的几何距离来得到最优分隔超平面