给定线性可分的数据集
假设输入空间(特征向量)为,输出空间为
。
输入
表示实例的特征向量,对应于输入空间的点;
输出
表示示例的类别。
线性可分支持向量机的定义:
通过间隔最大化或者等价的求出相应的凸二次规划问题得到的分离超平面
以及决策函数:
什么是间隔最大化呢?
首先需要定义间隔, 下面介绍了函数间隔和几何间隔*,几何间隔可以理解为训练点到超平面的距离, 二维中就是点到直线的距离,我们要做的就是最小化几何间隔。
## 函数间隔和几何间隔 **函数间隔** 给定训练数据集T和超平面(w, b) 定义超平面(w,b)关于点(xi, yi)的**函数间隔**: