机器学习第六章：支持向量机

机器学习第六章：支持向量机

算法原理：从几何角度，对于线性可分数据集，支持向量机就是找距离正负样本都最远的超平面，相比于感知机，其解是唯一的，且不偏不倚，泛化性能更好。

n维空间的超平面（$w^{T}x+b=0$,其中$w,x\in R^n$）

• 超平面方程不唯一
• 法向量$w$和位移项$b$确定一个唯一超平面
• 法向量$w$垂直于超平面（缩放$w,b$时，若缩放倍数为负数会改变法向量方向）
• 法向量$w$指向的那一半空间为正空间，另一半为负空间
• 任意一点到超平面的距离为：$r=\frac{|w^{T}x+b|}{||w||}$

几何间隔：对于给定的数据集X和超平面$w^{T}x+b=0$,定义数据集X中任意一个样本点 ( x i , y i ) , y i = { − 1 , 1 } , i = 1 , 2 , . . . , m (x_{i},y_{i}),y_{i}=\{-1,1\},i=1,2,...,m (xi​,yi​),yi​={ −1,1},i=1,2,...,m,关于超平面的几何间隔为：
$${\gamma }_i=\frac{y_i(w^T{x}_i+b)}{||w||}$$
正确分类时：${\gamma }_i>0$,几何间隔也就等价于点到超平面的距离;
没有正确分类时：${\gamma }_i<0$;

对于给定的数据集X和超平面$w^{T}x+b=0$,定义数据集X关于超平面的几何间隔为数据集X中所有样本点的几何间隔最小值$\gamma =mi{n}_{i=1,2,...,m}{\gamma }_i$

支持向量机

模型：给定线性可分的数据集X，支持向量机模型希望求得数据集X关于超平面的几何间隔$\gamma$达到最大的那个超平面，然后套上一个sign函数实现分类功能：
$$y=sign(w^{T}x+b)=\{\begin{array}{l}1,w^{T}x+b>0\\ -1,w^{T}x+b<0\end{array}$$
几何间隔最大的超平面一定就是那个距离正负样本都最远的超平面；
因为：

• 当超平面没有正确划分正负样本时，几何间隔最小的为误分类点，因此$\gamma <0$
• 当超平面正确划分超平面时，$\gamma \ge 0$,且越靠近中央$\gamma$越大

策略：给定线性可分数据集X,设X中几何间隔最小的样本为（$x_{min},y_{min}$）,那么支持向量机找超平面的过程可以转化为以下带约束条件的优化问题：
$$\begin{gathered} \max \gamma \\ s.t.{\gamma }_i\ge \gamma ,i=1,2,...,m \end{gathered}$$
$$\begin{gathered} \underset{w,b}{\max }\frac{y_{min(w^T{x}_{min}+b)}}{||w||} \\ s.t.\frac{}{||w||} \end{gathered}$$