线性支持向量机

支持向量机可以分为：线性可分支持向量机，线性支持向量机和非线性支持向量机，本次内容只讲述线性可分支持向量机和线性支持向量机。支持持向量机是一种强大的分类学习算法，即可以解决二分类也可以解决多分类问题，本次只讲述二分类的问题。
#线性可分支持向量机
线性可分支持向量机是要学习一个超平面，而这个超平面能把正例和负例完全分开，但是这样的超平面可能有无数多个，线性可分支持向量机利用间隔最大化求分离超平面，这时，解是唯一的。
通过间隔最大化或等价的求解相应的凸二次规划问题学习得到的分离超平面为：
$$w^{\ast }\cdot x+b^{\ast }=0$$
以及相应的分类决策函数：
$$f(x)=sign(w^{\ast }\cdot x+b^{\ast })$$
称为线性可分支持向量机。

函数间隔和几何间隔

**函数间隔：**对于给定的训练集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的函数间隔为
$$\widehat{{\gamma }_i}=y_i(w\cdot x_i+b)$$
定义超平面$(w,b)$关于训练集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的函数间隔只最小值，即
$$\hat{\gamma }=mi{n}_{i=1,...,N}\widehat{{\gamma }_i}$$
对分离超平面的法向量$w$进行规范化，就得到集合间隔
**几何间隔：**对于给定的训练集$T$和超平面$(w,b)$，定义超平面$(w,b)$关于样本点$(x_i,y_i)$的几何间隔为
$${\gamma }_i=y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})$$
定义超平面$(w,b)$关于训练集$T$的函数间隔为超平面$(w,b)$关于$T$中所有样本点$(x_i,y_i)$的几何间隔只最小值，即
$$\gamma =mi{n}_{i=1,...,N}{\gamma }_i$$
从上述看出，几何间隔与函数间隔只差了一个乘积$\frac{1}{||w||}$。

要间隔最大化，只需要最大化间隔，可以表述为下面的约束最优化问题：
$$\begin{gathered} ma{x}_{w,b}\gamma \\ s.t.y_i(\frac{w}{||w||}\cdot x_i+\frac{b}{||w||})\ge \gamma ,i=1,2,\dots ,N \end{gathered}$$
考虑几何间隔与函数间隔的关系，则可将问题改成
$$\begin{gathered} ma{x}_{w,b}\frac{\hat{\gamma }}{||w||} \\ s.t.y_i(w\cdot x_i+b)\ge \hat{\gamma },i=1,2,\dots ,N \end{gathered}$$
函数间隔$\hat{\gamma }$取值不影响最优化问题的求解，所以取$\hat{\gamma }=1$，而注意到最大化$\frac{1}{||w||}$和最小化$1/2||w|{|}^2$等价，故得到线性可分支持向量机学习的最优化问题
$$\begin{gathered} mi{n}_{w,b}\frac{1}{2}||w|{|}^2 \\ s.t.y_i(w\cdot x_i+b)-1\ge 0,i=1,\dots ,N \end{gathered}$$

线性可分支持向量机算法（最大间隔法）

输入：线性可分训练集 T = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ⋯   , ( x N , y N ) } T=\{(x_1,y_1),(x_2,y_2),\cdots,(x_N,y_N)\} T={ (x1​,y1​),(x2​,y2​),⋯,(xN​,yN​)}，其中， x i ∈ χ = R n , y i ∈ Y = { 1 , − 1 } , i = 1 , 2 , ⋯   , N x_i \in \chi=R^n,y_i\in Y=\{1,-1\},i=1,2,\cdots,N xi​∈χ=Rn,yi​∈Y={ 1,−1},i=1,2,⋯,N；
输出：最大间隔分离超平面和分类决策函数。
（1）构造并求解约束最优化问题：
m i n w , b 1 2 ∣ ∣ w ∣ ∣ 2 s . t . y i ( w ⋅ x i + b ) − 1 ≥ 0 , i