支持向量机 SVM-学习笔记

支持向量机：一种二分类模型，其基本模型是定义在特征空间上的间隔最大的线性分类器。

1. 线性可分支持向量机
支持向量机的学习目标：在特征空间中找到一个分离超平面，将实例分到不同的类且几何间隔最大，分离超平面对应于方程w·x+b=0,其中w为法向量，b为截距。分离超平面将特征空间划分为两部分，一部分为正类（即法向量指向的一侧），一部分为负类。

与感知机的区别：
感知机：利用误分类最小策略求得分离超平面，解有无穷多个。
线性可分支持向量机：利用间隔最大化求解最优分离超平面，解唯一。
1.1 间隔
函数间隔：
y(w·x+b) 表示分类的正确性以及确信度，其中|w·x+b|表示点x距离超平面的远近，而w·x+b的符号与类标记y的符号是否一致表示分类是否正确。

• 函数间隔定义：
  对于给定的训练数据集T和超平面 (w, b)，定义超平面(w, b)关于样本点 (xi,yi) 的函数间隔为：
  
  但是当成比例的改变w和b时，虽然超平面没有改变但是函数间隔发生了变化，所以需要对w加一些约束，因此定义几何间隔。

• 几何间隔定义：
  
  ||w|| 为w的L2范数，几何间隔表示实例点到超平面的带符号距离。

• 函数间隔和几何额间隔的关系：
  
  当||w||=1时，函数间隔和几何间隔相等。

1.2 间隔最大化
间隔最大化的理解：对训练数据集找到几何间隔最大的超平面，其实是以最大的确信度对训练数据进行分类，不仅将正实例点分开，并且对最难分的实例点有足够大的确信度将其分开。

• 最大间隔分离超平面问题：
  
  由函数间隔和几个间隔的关系得到问题的转化：
  
  函数间隔 $\hat{\gamma}$ 的取值不影响最优化问题的求解，所以取 $\hat{\gamma}$ = 1，又由于max 1||w||