吃瓜教程——第六章

---

一、间隔与支持向量(SVM)

给定训练样本集 D = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , . . . , ( x m , y m ) } , y i ∈ { − 1 , + 1 } D=\{(x_1,y_1),(x_2,y_2),...,(x_m,y_m)\},y_i \in\{-1,+1\} D={ (x1​,y1​),(x2​,y2​),...,(xm​,ym​)},yi​∈{ −1,+1}，分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本区分出来

从上图可知，所有的直线都可以将两类样本区分，但是在图中效果最好的是那条红色的线，因为该划分超平面对训练样本的扰动的"容忍"性最好
在样本空间中，划分超平面可通过如下的线性方程来描述$$w^{T}x+b=0\text{\hspace{1em}(1.1)}$$其中$w=(w_1;w_2;...;w_d)$为法向量，决定超平面的方向
b为位移项，决定了超平面与原点之间的距离
样本空间中任意点$x$到超平面$(w,b)$的距离可表示为$$r=\frac{\left|w^{T}x+b\right|}{\left||w\right||}\text{\hspace{1em}(1.2)}$$
假设超平面$(w,b)$能将训练样本正确分类，即对于$(x_i,y_i)\in D$，若$y_i=+1$，则有$w^T{x}_i+b>0$；若$y_i=-1$，则有$w^T{x}_i+b<0$令$$\{\begin{array}{c}{w}^T{x}_i+b⩾+1,y_i=+1\\ w^T{x}_i+b⩽-1,y_i=-1\end{array}\text{\hspace{1em}(1.3)}$$

• 支持向量:如上图所示，距离超平面最近的这几个训练样本点使得满足公式(1.3)的称为支持向量
• 间隔:两个异类支持向量到超平面的距离之和为$$\gamma =\frac{2}{\left||w\right||}\text{\hspace{1em}(1.4)}$$称为间隔
  支持向量机的思想就是要找到公式(1.4)中的最大间隔即寻找满足公式(1.3)中的约束条件$w$和$b$使得${\gamma }_{max}$即$$\begin{gathered} \underset{w,b}{\max }\frac{2}{\Vert w\Vert } \\ s.t.y_i\left(w^T{x}_i+b\right)⩾1,i=1,2,...,m\text{\hspace{1em}(1.5)} \end{gathered}$$
  从公式(1.5)可知，想要求出最大化间隔，则针对于目标函数来说，需要最大化$\left||w\right|{|}^{-1}$，根据命题的等价性，以及方便求解性，于是可以等价的转化为求$\left||w\right|{|}_{min}^2$，于是可以将公式(1.5)可以重新改写成$$\begin{gathered} \underset{w,b}{\min }\frac{1}{2}\left||w\right|{|}^2 \\ s.t.y_i(w^T{x}_i+b)⩾1,i=1,2,...,m\text{\hspace{1em}(1.6)} \end{gathered}$$，这就是支持向量机(support Vector machine)的基础模型

---

二、对偶问题

通过求解公式(1.6)来求出最大化间隔划分超平面所对应的模型是$$f(x)=w^{T}x+b\text{\hspace{1em}(1.7)}$$通过分析可知本身是一个凸二次规划问题，但是可以根据问题具有对偶问题(dual problem)来求解该模型，显得更为方便便捷
对公式(6.6)使用拉格朗日乘子法，可以得出其对偶问题，即根据每一条的约束条件均添加一个拉格朗日乘子${\alpha }_i⩾0$，该问题的拉格朗日函数可写成$$L(w,b,\alpha )=\frac{1}{2}\left||w\right|{|}^2+\sum _{i=1}^m{\alpha }_i(1-y_i(w^T{x}_i+b))\text{\hspace{1em}(1.8)}$$其中$\alpha =({\alpha }_1;{\alpha }_2;...;{\alpha }_m)$，让$L(w,b,\alpha )$分别对$w$和$b$进行求偏导可得
$$w=\sum _{i=1}^m{\alpha }_i{y}_i{x}_i\text{\hspace{1em}(1.9)}$$
$$0=\sum _{i=1}m{\alpha }_i{y}_i\text{\hspace{1em}(1.10)}$$
将式(1.9)代入(1.8)中，既可以将$L(w,b,\alpha )$中的$w$和$b$消去，同时考虑(1.10)的约束条件，最终得到的式(1.6)的dual problem是$$\begin{gathered} \underset{\alpha }{\max }\sum _{i=1}m{\alpha }_i-\frac{1}{2}\sum _{i=1}^m\sum _{j=1}^m{\alpha }_i{\alpha }_j{y}_i{y}_j{x}_i^T{x}_j \\ s.t.\sum _{i=1}^m{\alpha }_i{y}_i=0,{\alpha }_i⩾0,i=1,2,...,m\text{\hspace{1em}(1.11)} \end{gathered}$$
求解出$\alpha$后，求出$w$和$b$即可得到模型$$\begin{array}{rl}f(x)& =w^{T}x+b\\ & =\sum _{i=1}^m{\alpha }_i{y}_i{x}_i^{T}x+b\end{array}\text{\hspace{1em}(1.12)}$$在上述过程中需要满足KKT条件，即要求$$\{\begin{array}{c}{\alpha }_i⩾0;\\ y_{i}f(x_i)-1⩾0;\\ {\alpha }_i(y_{i}f(x_i)-1)=0\end{array}\text{\hspace{1em}(1.13)}$$对于训练样本$(x_i,y_i)$，总有${\alpha }_i=0$或$y_{i}f(x_i)=1$若${\alpha }_i=0$，则该样本不会出现在式(1.12)中，若${\alpha }_i>0$，则必定会有$y_{i}f(x_i)=1$，所对应的样本点位于最大间隔的边界上是一个支持向量
使用SMO算法进行求解，思路如下
先固定${\alpha }_i$之外的其他所有参数，然后求KaTeX parse error: Undefined control sequence: \alpah at position 1: \̲a̲l̲p̲a̲h̲_i上的极值，由于存在约束条件${\sum }_{i=1}^m{\alpha }_i{y}_i=0$，若固定${\alpha }_i$之外的其他变量，则${\alpha }_i$可由其他变量导出，于是SMO每次选择两个变量 α i \alpha_i