SVM——线性可分支持向量机

一、概念

支持向量机是一种二类分类模型，它是定义在特征空间上的间隔最大的分类器，间隔最大使它有别于感知机并且是唯一的。支持向量机的学习策略就是间隔最大化，可以形式化为一个求解凸二次规划的问题，也等价于正则化的合页损失函数的最小化问题。

支持向量机学习方法包含线性可分支持向量机，线性支持向量机以及非线性支持向量机。当训练数据集线性可分的时候，通过硬间隔最大化，学习一个线性的分类器即线性可分支持向量机，也叫做硬间隔支持向量机。当训练数据集近似线性可分的时候，可通过软间隔最大化学习一个线性分类器即线性支持向量机，也叫做软间隔支持向量机。当训练数据集非线性可分时，可以通过核技巧和软间隔最大化学习一个非线性支持向量机。

二、线性可分支持向量机

2.1 数据集
假设给定特征空间上的一个线性可分数据集T={(x₁,y₁),(x₂,y₂),(x₃,y₃)…(x_N,y_N)}，其中x_i∈Rⁿ，y_i∈{+1, -1}，x_i是第i个特征向量，y_i是x_i的类别标记，y=1代表正类，y=-1代表负类。
2.2 线性可分支持向量机的模型
线性可分支持向量机的学习目标是在特征空间中找到一个分割超平面，该分割超平面可以将特征空间分割成两部分，一部分是正类，一部分是负类。当训练数据集线性可分时，存在无数个分割超平面可将数据集正确分开，感知机模型利用误分类最小策略求得的模型有无数个，而线性可分支持向量机利用间隔最大化求得的模型是唯一的。
分割超平面的方程：
w·x+b = 0 ，其中w为法向量，b为截距
线性可分支持向量机的模型：
f(x) = sign(w·x+b)
不懂的请参考感知机模型

2.3 函数间隔和几何间隔

• 函数间隔
  函数间隔可以用来描述分割超平面预测类别的正确性和确信度。
  正确性：
  在超平面w·x+b = 0确定的情况下，给定数据点(x_i, y_i)，y_i与w·x_i+b的符号是否一致能够表示该数据点是否被正确分类。
  确信度：
  数据点距离分割超平面的远近可以表示该分割超平面预测分类的确信程度，假设有一个数据点(x_i, 1)，它距离超平面越远则预测它为正类的确信程度就越高，| w·x+b |可以近似的表示数据点距离超平面的远近。

  • 分割超平面与数据点的函数间隔
    给定训练数据集T和分割超平面(w, b)，定义训练数据集中任一数据点(x_i, y_i)距分割超平面的函数间隔为：