机器学习学习笔记 第十七章 支持向量机

支持向量机(Support Vector Machine)

以前非常厉害的一个算法，不过后来遇到了对手——神经网络

这个也是面试的时候经常会问到的非常重要的一个算法

• SVM要解决的问题：什么样的决策边界才是最好的，如下图中两堆点怎么区分
  • 不过这里不是要区分这两堆点，而是举个例子，后面会进行支持向量机的推导
    

• 那么我们来讨论一下决策边界

• 这两个图分别用不同的决策边界
• 可见，第二个图的决策边界更好，与两边的距离更宽，区分度越明显

为了更好理解边界的划分过程，我们先推导一下点到平面的距离公式

引用百度百科的一张图

• 我们简化一下：这里我们设$\overrightarrow{w}$是平面的法向量，则平面可以表示为$\overrightarrow{w}X+b=0$，我们假设空间中一点坐标为$e=(x,y,z)$我们推导出来
  $$d=\frac{1}{|\overrightarrow{w}|}|\overrightarrow{w}e+b|$$

下面再来说说数据标签的定义，因为后面我们要利用支持向量机对数据进行分析，我们先来熟悉一下数据

• 先假设数据集$(X_1,Y_1)(X_2,Y_2)(X_3,Y_3)...(X_n,Y_n)$
• 其中$Y$是数据的类别，定义如下：
  $$Y=\{\begin{array}{ll}+1,& \text{X为正例的时候}\\ -1,& \text{X为负例的时候}\end{array}$$
  • 注意设置的是$+1$和$-1$，而不是$1$和$0$
• 那么，我们利用上面定义好的数据后，就可以定义决策方程了

• 决策方程的定义：

  • 基于上面的距离公式，并且将$x$转换为函数$\Phi (x)$，有如下公式：
    $$y(x)=\overrightarrow{w}\cdot \Phi (x)+b$$
    $$\Downarrow$$
    $$y(x_i)>0\iff y_i=+1$$
    $$y(x_i)<0\iff y_i=-1$$
    $$\Downarrow$$
    $$y_i\cdot y(x_i)>0$$

有了以上的公式之后，我们就可以确立我们的优化目标了

• 我们看回去第二个图，我们就是要找一条直线，离两边的点都足够远，越远越好，这样能最好地区分出两边的点
• 我们先将点到直线的距离都化简一下：
  $$Y=\frac{y_i\cdot (\overrightarrow{w}\cdot \Phi (x_i)+b)}{|\overrightarrow{w}|}$$
• 因为$y_i\cdot y(x_i)>0$，因此这里将分子的绝对值去掉了，其实这个$y_i$纯粹是因为加上去让后面好处理的

通过这个公式，我们可以得出我们的优化目标

a r g m a x w , b { 1 ∣ w → ∣ m i n i { y i ⋅ ( w → ⋅ Φ ( x i ) + b ) } argmax_{w,b}\{\frac{1}{|\overrightarrow{w}|}min_i\{y_i\cdot(\overrightarrow{w}\cdot \Phi(x_i)+b)\} argmaxw,b​{∣w ∣1​mini​{yi​⋅(w ⋅Φ(xi​)+b)}

• 上式的意思是首先寻找最小距离，也即 m i n i { y i ⋅ ( w → ⋅ Φ ( x i ) + b ) } min_i\{y_i\cdot(\overrightarrow{w}\cdot \Phi(x_i)+b)\} mini​{yi​⋅(w ⋅Φ(xi​)+b)}即两边的点到你要求的那条分割线的最小距离，然后再给这个最小距离求最大值，也即外面的$argma{x}_{w,b}$
• 但其实我们还是不方便求解这个函数，那么我们换一个思路，先进行放缩变换试试：
  • 对于方程$Y=y_i\cdot (\overrightarrow{w}\cdot \Phi (x_i)+b)$，我们可以尝试通过放缩使$|Y|>=1$，也即$y_i\cdot (\overrightarrow{w}\cdot \Phi (x_i)+b)>=1$（注意，没通过放缩之前是$|Y|>=0$的）
  • 通过放缩之后，我们是不是就可以通过$y_i\cdot (\overrightarrow{w}\cdot \Phi (x_i)+b)>=1$而认为 m i n i { y i ⋅ ( w → ⋅ Φ ( x i ) + b ) } = 1 min_i\{y_i\cdot(\overrightarrow{w}\cdot \Phi(x_i)+b)\}=1 mini​{yi​⋅(w ⋅Φ(xi​)+b)}=1了，因为我们放缩的目的就是想让最小值变成1，这样后面直接把 m i n i { y i ⋅ ( w → ⋅ Φ ( x i ) + b ) } min_i\{y_i\cdot(\overrightarrow{w}\cdot \Phi(x_i)+b)\} mini​{yi​⋅(w ⋅Φ(xi​)+b)}当做是1而忽略掉
  • 至此，原优化目标 a r g m a x w , b { 1 ∣ w → ∣ m i n i { y i ⋅ ( w → ⋅ Φ ( x i ) + b ) } argmax_{w,b}\{\frac{1}{|\overrightarrow{w}|}min_i\{y_i\cdot(\overrightarrow{w}\cdot \Phi(x_i)+b)\} argmaxw,b​{∣w ∣1​mini​{yi​⋅(w ⋅Φ(xi​)+b)}简化为$argma{x}_{w,b}\frac{1}{|\overrightarrow{w}|}$

如何求解极大值呢

• 在线性回归的时候我们试过求极小值，却没试过求极大值，那我们是不是可以取一个倒数变成求最小值的问题呢
  $$argmi{n}_{w,b}|\overrightarrow{w}|$$
• 上式还带有绝对值，用着很不爽，那我们转换成求
  $$argmi{n}_{w,b}\frac{1}{2}{\overrightarrow{w}}^2$$
• 之所以前面带一个$\frac{1}{2}$是因为后面求导的时候正好能把$\frac{1}{2}$约掉，也是方便计算用的

• 求这个式子我们用到拉格朗日乘子法

1. 对于带约束的优化问题，我们可以对式子进行转换，这里省去一万步，直接看结论：
   • 下面是利用拉格朗日乘子法化简完后的式子
     $$L(w,b,\alpha )=\frac{1}{2}|\overrightarrow{w}{|}^2-\sum _{i=1}^w{\alpha }_i(y_i(\overrightarrow{w}\cdot \Phi (x_i)+b)-1)$$
   • 记住约束条件不用忘了哦$y_i\cdot (\overrightarrow{w}\cdot \Phi (x_i)+b)>=1$
   • 下面是我们要求解的内容
     $$mi{n}_{w,b}ma{x}_{\alpha }Lw,b,\alpha$$
2. 根据对偶性质，上式可以调换顺序
   $$mi{n}_{w,b}ma{x}_{\alpha }L(w,b,\alpha )->ma{x}_{\alpha }mi{n}_{w,b}L(w,b,\alpha )$$
3. 那么求最小值我们就应该想到求偏导（梯度下降的内容），极值点存在于偏导为0的时候
   • 对$w$求偏导
     $$\frac{\partial L}{\partial w}=0=>w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_n)$$
   • 对$b$求偏导
     $$\frac{\partial L}{\partial b}=0=>0=\sum _{i=1}^n{\alpha }_i{y}_i$$
4. 将以上两个偏导带入原来式子中，进行简单化简（从略）可以得到：
   $$mi{n}_{w,b}L(w,b,\alpha )=\sum _{i=1}^n{\alpha }_i-\frac{1}{2}\sum _{i=1,j=1}^w{\alpha }_i{\alpha }_j{y}_i{y}_j\Phi (x_i)\Phi (x_j)$$
   • 条件为${\sum }_{i=1}^n{\alpha }_i{y}_i=0和{\alpha }_i>=0$
   • 已经完成第一步$mi{n}_{w,b}L(w,b,\alpha )$的求解了
5. 接下来对$\alpha$求极大值
   • 遵循以前求极大值的思路，我们还是先将其转换成极小值的计算，这里直接取负号
     $$mi{n}_{\alpha }(\frac{1}{2}\sum _{i=1,j=1}^w{\alpha }_i{\alpha }_j{y}_i{y}_j\Phi (x_i)\Phi (x_j)-\sum _{i=1}^n{\alpha }_i)$$
   • 条件为${\sum }_{i=1}^n{\alpha }_i{y}_i=0和{\alpha }_i>=0$
6. 尝试求解了哈，别眨眼了
   • 数据：3个点，其中正例 $x1(3,3)，x2(4,3)$ ，负例$x3(1,1)$
     
   • 求解$mi{n}_{\alpha }(\frac{1}{2}{\sum }_{i=1,j=1}^w{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j))-{\sum }_{i=1}^n{\alpha }_i)$
     • 约束条件是：$\alpha 1+\alpha 2-\alpha 3=0,{\alpha }_i>=0(i=1,2,3)$
     • 将数据代入：
       $$\frac{1}{2}(18{\alpha }_1^2+25{\alpha }_2^2+2{\alpha }_3^2+42{\alpha }_1{\alpha }_2-12{\alpha }_1{\alpha }_3-14{\alpha }_2{\alpha }_3)-{\alpha }_1-{\alpha }_2-{\alpha }_3$$
     • 由${\alpha }_1+{\alpha }_2={\alpha }_3$可以化简：
       $$4{\alpha }_1^2+\frac{13}{2}{\alpha }_2^2+10{\alpha }_1{\alpha }_2-2{\alpha }_1-2{\alpha }_2$$
     • 约束条件是：$\alpha 1+\alpha 2-\alpha 3=0,{\alpha }_i>=0(i=1,2,3)$
   • 分别对${\alpha }_1$和${\alpha }_2$求偏导，偏导等于0可以得到${\alpha }_1=1.5,{\alpha }_2=-1$，这是最一般的情况，但是并没能满足约束条件第二条
     • 那我们再考虑一下会不会在${\alpha }_1=0$或者${\alpha }_2=0$处满足条件呢？此处我们称之为边界点
     1. ${\alpha }_1=0,{\alpha }_2=-\frac{2}{13}$不满足约束
     2. ${\alpha }_1=0.25,{\alpha }_2=0$满足约束条件，代入原式$=-0.25$
        根据等式，有${\alpha }_3=0.25$

     • 因此最小值在$(0.25,0,0.25)$处求得

   • 有了这些$\alpha$，我们可以回代求出n和b了
     • 还记得这些饥渴难耐的式子吧
       $$w=\sum _{i=1}^n{\alpha }_i{y}_i\Phi (x_n)$$
       $$y(x)=\overrightarrow{w}\cdot \Phi (x)+b$$
     • 直接将上述$\alpha$代入
       $$w=\frac{1}{4}\times 1\times (3,3)+\frac{1}{4}\times (-1)\times (1,1)=(\frac{1}{2},\frac{1}{2})$$
       $$b=y_i-\sum _{i=1}^n{a}_i{y}_i(x_i\cdot x_j)=1-(\frac{1}{4}\times 1\times 18+\frac{1}{4}\times (-1)\times 6)=-2$$

   • 因此可得平面方程为

   $$0.5x_1+0.5x_2-2=0$$

总结一下

• 我们看出来，支持向量机中，真正其作用的点都在决策边界上的点，下图中圈起来的部分，包括我们刚刚的那个例子，只有位于边界上的x1和x3起到作用了（$\alpha !=0$），其他的都没有对边界起到任何作用
  
• 面试可能会出考题：支持向量是哪些？其实就是$\alpha ̸=0$的那些，$\alpha =0$的就不是支持向量了
• 支持向量是真正发挥作用的数据点，其他的对结果都没有任何影响

软间隔（soft-margin)

• 在数据中，经常会存在一些噪音点，在这些噪音点不存在的时候，支持向量机拟合出来的边界比较不错，但是一旦考虑到这个噪音点而用支持向量机必须考虑这个噪音点的时候，边界会变得相对较差，效果降低，如下图实线就是考虑那个噪音点之后的边界，明显不如虚线来得好
  
• 因此我们引入一个新的目标函数
  $$min\frac{1}{2}|w{|}^2+C\sum _{i=1}^n{\xi }_i$$
• 引入的这个C是我们需要指定的一个参数
  • 当C趋于很大时，意味着分类严格不能有错误
  • 当C趋于很小时，可以有更大的错误容忍
• 再次引入拉格朗日乘子法来求解，这里我们不多说了，直接给出运算后的结果
  $$mi{n}_{\alpha }\frac{1}{2}\sum _{i=1}^n\sum _{j=1}^n{\alpha }_i{\alpha }_j{y}_i{y}_j(x_i\cdot x_j)-\sum _{i=1}^n{\alpha }_i$$
• 约束条件为：${\sum }_{i=1}^n{\alpha }_i{y}_i=0,0\le {\alpha }_i\le C$
• 以上遵循之前同样的解法，但是约束条件比之前更严格
• 引入了C之后，我们要一步步把C试出来，找出最合适的参数，让边界划分的更好
  下一次更新SVM的示例代码吧

对唐宇迪老师的机器学习教程进行笔记整理
编辑日期：2018-10-7
小白一枚，请大家多多指教
转载请注明出处