06. 支持向量机

算法思路

支持向量机算法跟感知机类似，都是找到一个超平面将数据分割开来。
但是，我们知道，加入数据线性可分的情况下，一般分隔数据的超平面是无线个，那么哪一个超平面是最好的呢？
感知机算法对这个不做要求，而支持向量机要求寻找的超平面距离数据点尽可能的远，这就是支持向量机的主要思想。
那如果现在如果数据不是线性可分呢？
这里有两个策略：其一，我们可以允许支持向量机存在噪声点；其二，我们将空间扩展到高维，使其线性可分，这个便成为核函数。

模型定义

输入： X = { x ( 1 ) , x ( 2 ) , … , x ( K ) } X=\{x^{(1)}, x^{(2)}, \dots, x^{(K)}\} X={ x(1),x(2),…,x(K)}, y = { y ( 1 ) , y ( 2 ) , … , y ( K ) } y=\{y^{(1)}, y^{(2)}, \dots, y^{(K)}\} y={ y(1),y(2),…,y(K)}。其中，$x^{(i)}$代表数据的第$i$个样本，$x_j$代表数据的第$j$个维度，$x^{(i)}\in {\mathbf{R}}^D$， y ( i ) ∈ { − 1 , 1 } y^{(i)}\in\{-1,1\} y(i)∈{ −1,1};
模型： $\hat{y}=sign(w^{T}x+b)$

模型推导

硬间隔

核心思想就是数据点距离决策边界尽可能的大，即：
$$\{\begin{array}{l}{\max }_{w,b}{\min }_i\frac{y^{(i)}(w^T{x}^{(i)}+b)}{\Vert w\Vert }\\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 0\end{array}$$
其中，限制条件是分类正确的情况，毕竟我们的模型要求正确分类。
由于我们关心的是$w,b$的方向，所以我们可以令${\min }_i{y}^{(i)}(w^T{x}^{(i)}+b)=1$，所以原式子化简为：
$$\{\begin{array}{l}{\max }_{w,b}\frac{1}{\Vert w\Vert }\to {\min }_{w,b}\frac{1}{2}{w}^{T}w\\ s.t.y^{(i)}(w^T{x}^{(i)}+b)\ge 1\end{array}$$
上式中的$\frac{1}{2}$常数，以及${\Vert w\Vert }^2=w^{T}w$均不影响结果。
采用拉格朗日乘子法，构造式子如下：
$$\{\begin{array}{l}{\min }_{w,b}{\max }_{\lambda }L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^K{\lambda }_i(1-y^{(i)}(w^T{x}^{(i)}+b))\\ s.t.{\lambda }_i\ge 0\end{array}$$
由于上式满足强队偶关系¹ ，所以对原式求对偶得：
$$\{\begin{array}{l}{\max }_{\lambda }{\min }_{w,b}L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^K{\lambda }_i(1-y^{(i)}(w^T{x}^{(i)}+b))\\ s.t.{\lambda }_i\ge 0\end{array}$$
先行求解${\min }_{w,b}L(w,b,\lambda )=\frac{1}{2}{w}^{T}w+{\sum }_{i=1}^K{\lambda }_i(1-y^{(i)}(w^T{x}^{(i)}+b))$，我们对其做偏导得：
$$\{\begin{array}{l}\frac{\partial L(w,b,\lambda )}{\partial w}=w-{\sum }_{i=1}^K{\lambda }_i{y}^{(i)}{x}^{(i)}\\ \frac{\partial L(w,b,\lambda )}{\partial b}=-{\sum }_{i=1}^K{\lambda }_i{y}^{(i)}\end{array}$$
令其为0，得到$w={\sum }_{i=1}^K{\lambda }_i{y}^{(i)}{x}^{(i)},{\sum }_{i=1}^K{\lambda }_i{y}^{(i)}=0$。用其化简$L(w,b,\lambda )$为：
L ( w , b , λ ) = 1 2 w T w + ∑ i = 1 K λ i ( 1 − y ( i ) ( w T x ( i ) + b ) ) = 1 2 ∑ i = 1 K λ i y ( i ) x ( i ) T ∑ j = 1 K λ j y ( j ) x ( j ) + ∑ i = 1 K